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本 书 内 容 简介 


本 书 系统 地 介绍 了 云 计 算 的 概念 、 
已 有 相关 理论 和 产品 ， 以 及 商业 银行 私 
有 云 的 整体 架构 和 设计 ， 涵 盖 了 中 国 建 
设 银行 在 私有 云 的 整体 架构 设计 、 云 基 
础 设施 设计 、 云 服务 设计 、 云 管理 平台 
设计 、 云 安全 设计 等 方面 的 知识 、 技 巧 
和 技术 。 此 外 ， 本 书 还 介绍 了 中 国 邮 政 
储蓄 银行 开发 测试 去 建设 过 程 ， 以 及 浙 
江 省 农村 信用 社 联合 社 在 私有 云 方面 的 
必用 。 

”本 书 可 供 各 银行 私有 云 规 划 人 员 、 
设计 人 员 以 及 建设 人 员 等 使 用 ， 也 可 供 
其 他 行业 的 相关 人 员 参 考 。 
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本 书 系 统 地 介绍 了 云 计算 的 概念 、 已 有 相关 理论 和 产品 ， 以 及 商业 银 
行 私有 云 的 整体 架构 和 设计 ， 涵 盖 了 中 国 建设 银行 在 私有 云 的 整体 架构 设 
计 、 云 基础 设施 设计 、 云 服务 设计 、 云 管理 平台 设计 、 云 安全 设计 等 方面 
的 知识 、 技 巧 和 技术 。 此 外 ， 本 书 还 介绍 了 中 国 邮政 储蓄 银行 开发 测试 去 
建设 过 程 ， 以 及 浙江 省 农村 信用 社 联 合 社 在 私有 云 方 面 的 应 用 。 
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言 息 化 是 推动 经 济 社会 变革 的 重要 力量 。 坚 持 走 中 国 特色 的 新 型 工业 化 、 信 息 化 、 
城镇 化 、 农 业 现代 化 道路 ， 是 党 中 央 立 足 全 局 、 放 眼 未 来 、 与 时 俱 进 的 战略 决策 。2014 
年 2 月 27 日 ， 中 央 网 络 安 全 和 信息 化 领导 小 组 的 成 立 ， 更 加 体现 了 中 央 保 障 网 络 安全 、 
推动 信息 化 发 展 、 维 护 国 家 利益 的 决心 。 银 行业 作为 国家 经 济 体系 的 重要 行业 之 一 ， 是 
言 息 化 的 重要 推动 主体 、 参 与 主体 和 受益 主体 。 银 行业 持之以恒 地 贯彻 落实 国家 信息 化 
战略 ， 不 仅 是 推动 加 快 我 国信 息 化 进程 的 必然 要 求 ， 也 是 银行 业 改 革 发 展 、 转 型 升级 和 
更 好 服务 实体 经 济 的 内 在 需求 。 

近年 来 ， 我 国 银行 业 审 时 度 势 、 积 极 作为 ， 坚 持 基 础 建设 与 科技 创新 并 重 、 提 升 服 
务 与 保障 安全 并 举 的 科学 发 展 导 向 ， 以 推进 信息 化 为 契机 ， 调 整 经 营 理念 、 优 化 经 营 机 
制 、 完 善 服 务 模式 ， 在 服务 手段 信息 化 、 管 理 模式 信息 化 、 信 息 安全 保障 等 方面 取得 积 
极 进展 ， 推 动 了 银行 业 的 核心 苋 争 力 、 市 场 适 应 力 和 贴身 服务 能 力 的 进一步 提升 。 一 是 
服务 手段 信息 化 发 展 迅速 。 电 子 银行 、 自 助 银行 、 智 能 支付 终端 等 信息 化 服务 渠道 日 渐 
普及 ， 使 得 金融 服务 履 盖 面 更 加 广泛 、 服 务 方式 更 加 便捷 、 服 务 产 品 更 加 丰富 。 二 是 管 
理 模式 信息 化 迈 出 实质 性 步伐 。 注 重 依托 核心 数据 库 、 运 用 先进 数据 挖掘 分 析 工 具 ， 推 
进 银行 经 营 决策 逐步 智能 化 ， 风 险 管理 日 趋 精 细 化 ， 产 品 创新 逐渐 体现 个 性 化 ， 银 行业 
经 营 管理 信息 化 水 平 不 断 提升 。 三 是 信息 安全 保障 取得 积极 进展 。 银 行业 信息 安全 越 来 
越 受 重视 ， 相 关 科技 基础 设施 建设 步伐 加 快 ， 多 层次 、 立 体 化 、 全 方位 的 信息 安全 保障 
体系 正在 逐步 形成 。 

当然 ， 我 们 也 应 该 清醒 地 认识 到 ， 银 行业 信息 化 面临 着 复杂 的 内 外 部 环境 ， 核 心 技 
术 受 限 、 网 络 安全 威胁 、 隐 私 保 护 和 信息 保密 等 挑战 将 长 期 存在 ， 银 行业 自身 认识 不 尽 
到 位 、 技 术 储备 不 够 充分 、 资 源 投 入 相对 不 足 、 过 度 依 赖 外 包 等 问题 仍 较为 突出 ， 针 对 
银行 业 特 殊 需 求 的 信息 化 产品 、 工 具 和 方法 还 比较 单一 ， 缺 乏 应 对 复杂 需求 的 灵活 创新 
能 力 。 总 的 看 来 ， 银 行业 信息 化 还 有 很 长 的 路 要 走 ， 信 息 科技 风险 将 成 为 当前 和 未 来 较 
长 时 期 银行 业 的 重要 风险 领域 之 一 。 

银行 业 信 息 化 既 不 能 因为 成 绩 而 骄 做 自满 ， 也 不 可 因为 差距 而 妄 自 菲 薄 ， 更 不 可 因 






































V 


总 序 | 








为 困难 而 县 首 旦 尾 。 各 银行 业 金融 机 构 要 勇于 直面 困难 、 主 动 迎接 挑战 ， 坚 决 按照 国家 
言 息 化 总 体 战略 部 署 ， 切 实 坚 持 “自主 可 控 、 持 续 发 展 、 科 技 创 新 ”的 基本 方向 ， 紧 
紧 抓 住 信息 化 发 展 机 遇 ， 推 动 信息 服务 和 信息 安全 再 上 新 台阶 。 一 是 借助 信息 化 推动 银 
行业 金融 机 构 治理 能 力 现代 化 。 积 极 引入 先进 的 信息 科技 治理 和 管理 理念 ， 运 用 现代 信 
息 技术 缓解 治理 中 的 信息 不 对 称 问题 ， 推 动 流程 银行 建设 ， 提 高 治理 有 效 性 。 同 时 ， 理 
顺 信 息 化 建设 的 体制 机 制 ， 加 快 信息 化 建设 进程 ， 为 银行 业 转 型 发 展 提供 有 力 保障 。 二 
是 依托 信息 化 推动 金融 服务 智慧 化 。 要 充分 利用 互联 网 、 移 动 计 算 莲 勃发 展 的 大 环境 ， 
积极 应 用 大 数据 等 新 兴 技 术 ， 创 新 思维 模式 ， 充 分 发 挥 金融 数据 和 信息 的 价值 ， 研 发 知 
能 化 、 个 性 化 、 便 捷 化 的 产品 和 服务 ， 灵 活 响 应 客户 诉求 ， 努 力 改善 客户 体验 ， 尽 力 发 
掘 潜在 客户 需求 ， 增 加 产品 和 服务 的 吸引 力 ， 培 育 更 为 坚实 的 客户 基础 ， 形 成 新 的 业务 
和 利润 增长 点 。 三 是 以 自主 创新 增进 安全 可 控 能 力 。 要 坚持 市 场 起 决定 作用 的 基本 方 
针 ， 探 索 形成 以 研发 创新 支持 应 用 推广 、 以 市 场 应 用 激发 创新 动力 的 良性 正 反馈 机 制 。 
推动 应 用 自主 创新 信息 技术 ， 建 立 自主 创新 信息 技术 落地 银行 业 的 配套 机 制 ， 力 争 金融 
领域 关键 信息 技术 自主 创新 占 比 逐步 提高 ， 不 断 提升 信息 系统 的 开放 性 、 灵 活性 和 整体 
集约 化 水 平 。 四 是 利用 信息 技术 强化 行业 协作 。 要 加 强 银行 业 信息 化 建设 的 统筹 规划 ， 
促进 信息 化 资源 的 集约 共享 ， 提 升 数据 ( 灾 备 ) 中 心 布局 的 合理 性 ， 增 强 同业 协同 协 
作 ， 共 同 应 对 外 包 集 中 度 等 风险 。 

为 更 好 地 推进 落实 银行 业 信息 化 战略 ， 由 银行 业 信 息 科技 风险 管理 高 层 指导 委员 会 
指导 推动 ， 编 著 了 “银行 业 信息 化 从 书 ”( 简称 “从 书 ”)。 这 套 “ 从 书 ” 致 力 于 挖掘、 
研究 、 总 结 、 提 炼 和 传播 国内 外 信息 化 最 佳 实践 、 宝 贵 经 验 和 最 新 成 果 ， 内 容 涵盖 银行 
业 信息 科技 治理 与 管理 、 信 息 系 统 开发 与 应 用 创新 、 信 息 安 全 、 基 础 设施 与 运行 维护 、 
信息 科技 监管 等 主要 领域 ， 可 为 银行 业 信息 科技 人 才 培 养 提供 一 些 基础 性 、 前 脆性 、 实 
用 性 的 知识 和 信息 。 

展望 未 来 ， 银 行业 信息 化 任务 艰巨 、 时 间 紧 迫 。 希 望 银行 业 在 有 关 各 方 支持 下 ， 推 
动 信息 化 工作 更 加 积极 主动 、 规 范 有 效 、 科 学 前 瞻 ， 为 我 国 银行 业 持 续 健康 发 展 、 提 升 
服务 水 平 提供 坚实 的 支撑 ， 为 增强 国家 网 络 安全 保障 能 力 、 提 升 信息 化 建设 水 平 提供 有 
力 支 持 ， 为 贯彻 落实 创新 驱动 发 展 战略 、 实 现 中 华 民族 伟大 复兴 的 中 国 梦 做 出 积极 
贡献 。 
















































































二 福 条 、 








2006 年 3 月 ,亚马逊 推出 弹性 计算 云 (Elastic Compute Cloud; EC2) 服务 ，2006 
年 8 月 ，Google 首次 提出 “ 云 计算 ” (Cloud Computing) 的 概念 ， 云 计算 发 展 至 今 已 近 
10 年 。 据 Gartner 预测 ， 到 2016 年 全 球 云 服务 支出 将 达 6700 多 亿美 元 ， 发 展 速度 非常 
迅 狂 。 

何 为 “ 云 计算 ”? 对 于 云 计算 的 定义 有 多 种 说 法 ， 现 阶段 广 为 接 受 的 是 美国 国家 标 
准 与 技术 研究 院 (NIST) 给 出 的 定义 : 云 计 算是 一 种 按 使 用 量 付费 的 模式 ， 这 种 模式 
提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 ， 进 入 可 配置 的 计算 资源 共享 池 (资源 包括 网 
络 、 服 务 器 、 存 储 、 应 用 软件 和 服务 ) ， 这 些 资源 能 够 被 快速 提供 ， 只 需 投 入 很 少 的 管 
理工 作 ， 或 与 服务 供应 商 进 行 很 少 的 交互 。 

云 计算 拥有 超大 规模 、 虚 拟 化 、 高 可 靠 性 、 通 用 性 、 高 可 扩展 性 、 按 需 服 务 等 特 
点 。 如 亚马逊 公有 云 计算 平台 已 拥有 上 百 万 台 服 务 器 ， 而 企业 私有 云 通常 也 拥有 几 千 
台 ， 甚 至 上 万 台 服 务 器 。“ 云 ”能 赋予 用 户 前 所 未 有 的 计算 能 力 。 云 服务 是 云 计算 的 核 
心 内 容 ， 具 有 三 种 服务 模式 ， 包 括 基 础 设施 即 服 务 (IaaS) 、 平 台 即 服务 (PaaS) 和 软 
件 即 服务 (SaaS) 。 当 前 常见 的 云 计算 部 署 模式 有 公有 云 、 私 有 云 和 混合 云 三 种 。 

随 着 云 计算 理念 的 不 断 深 入 ， 数 据 中 心 和 IT 服务 管理 水 平成 为 企业 竞争 力 的 一 个 
重要 组 成 部 分 ， 甚 至 能 直接 创造 价值 。 应 用 云 计算 理念 和 云 计 算 技 术 的 数据 中 心 成 为 新 
的 发 展 趋势 。 

商业 银行 这 样 的 企业 同样 关注 成 本 ， 而 随 着 业务 迅猛 发 展 ， 数 据 中 心 规 模 急 剧 增 
长 ，IT 系统 数据 量 及 复杂 度 旦 几何 级 数 上 升 ， 对 系统 的 安全 性 、 可 用 性 要 求 越 来 越 高 ， 
甚至 “ 零 容 忍 ”， 传 统 的 基础 设施 面临 着 非常 大 的 挑战 ， 商 业 银行 探索 及 采用 新 技术 已 
经 成 为 必然 的 选择 。 云 计算 、 大 数据 等 新 技术 的 产生 和 逐步 成 熟 为 商业 银行 IT 基础 设 
施 建设 带 来 新 的 机 遇 ， 它 们 需要 云 服 务 。 尽 管 公 共 云 服务 提供 商 遵 守 一 定 的 行业 法 规 ， 
但 是 大 型 商业 银行 要 兼顾 行业 、 客 户 隐 私 ， 不 可 能 将 重要 数据 存放 到 公共 网 络 上 ， 因 此 
更 倾向 于 架设 私有 云 计算 平台 。 商 业 银行 私有 云 也 是 现 阶 段 各 商业 银行 主推 的 云 计 算 部 
署 模式 。 
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中 国 建设 银行 从 2011 年 5 月 开始 进行 云 计算 技术 的 论证 ，2012 年 完成 了 基础 设施 
规范 设计 、 云 服务 设计 、 云 管理 平台 设计 ，2013 年 正式 启动 了 新 一 代 云 管理 平台 项 目 
开发 ， 在 参考 云 计 算 最 新 技术 趋势 、 国 内 外 先进 的 云 数据 中 心 建设 理念 和 实践 经 验 的 基 
础 上 ， 结 合 中 国 建设 银行 新 一 代 的 业务 需求 和 研究 成 果 ， 构 建 了 以 云 管理 平台 为 核心 的 
一 体 化 管理 体系 ， 完 成 了 云 计算 数据 中 心 一 期 的 建设 ， 到 目前 为 止 已 顺利 支持 了 新 一 代 
一 期 项 目 、 新 一 代 二 期 项 目的 投产 ， 武 汉 数 据 中 心 建 设 及 搬迁 工作 。 据 了 解 ， 中 国 工 商 
银行 、 中 国 银行 、 中 信和 银行 、 中 国民 生 银 行 、 中 国 邮 政 储 蓄 银 行 等 商业 银行 也 在 私有 云 
建设 上 进行 了 大 量 实践 工作 ， 并 取得 了 良好 的 效果 。 

因此 ， 中 国 建设 银行 受 银行 业 信 息 科 技 风险 管理 高 层 指导 委员 会 委托 编著 了 《 商 
业 银 行 私 有 云 设 计 与 实现 》 一 书 。 本 书 系统 地 介绍 了 云 计 算 的 背景 ,商业 银行 私有 云 
设计 与 应 用 ,阐述 了 大 型 商业 银行 数据 中 心 面临 的 问题 和 挑战 ， 介 绍 了 云 计算 产业 的 各 
类 服务 、 国 内 外 云 计 算 产 品 ， 深 入 探讨 了 商业 银行 私有 云 的 技术 实现 、 应 用 实践 、 实 施 
收益 、 实 施 难 点 及 建议 ， 为 商业 银行 的 云 计 算 从 业 人 员 、 使 用 者 全 面 了 解 私 有 云 提供 帮 
助 和 指导 。 

本 书 共 分 为 三 篇 : 即 基 础 篇 、 设 计 篇 、 应 用 与 探索 篇 ， 包 括 12 章 。 

第 1 章 : 概要 介绍 云 计算 的 国际 背景 、 国 内 行业 背景 ， 分 析 商 业 银行 数据 中 心 面 临 
的 问题 、 挑 战 以 及 商业 银行 私有 云 应 用 研究 背景 ， 说 明 商 业 银行 私有 云 建设 的 必要 性 。 

第 2 章 : 介绍 云 计 算 相 关 理论 和 参考 模型 ， 包 括 ITIL 最 佳 实践 、IBM CCRA 云 计算 
参考 框架 、DevOps 理论 和 云 安 全 管理 模型 ， 说 明 探 索 和 借鉴 行业 最 佳 理论 、 实 践 对 云 
计算 数据 中 心 的 意义 重大 。 

第 3 章 : 介绍 业内 较为 熟悉 的 主流 厂商 云 计 算 解 决 方案 、 虚 拟 化 技术 和 云 管 理 方 
案 ， 让 读者 能 够 更 全 面 地 了 解 各 个 产品 的 特性 。 

第 4 章 : 主要 介绍 业内 主流 的 云 计 算 领 域 的 开源 软件 架构 和 相关 技术 。 

第 5 章 : 介绍 目前 商业 银行 私有 云 平台 使 用 的 技术 、 私 有 云 的 特点 ， 以 及 建设 私有 
云 平台 应 采用 的 技术 要 求 、 技 术 标准 等 。 

第 6 章 : 全 面 介绍 云 基础 设施 的 设计 ， 池 盖 了 机 房 环境 资源 规划 设计 要 点 ， 计 算 资 
源 规划 设计 ， 网 络 资源 规划 涉及 的 网 络 虚 拟 化 关键 技术 、 资 源 池 网 络 设计 ， 存 储 资源 的 
存储 服务 级 别 设计 、 存 储 池 规划 设计 等 方面 ， 让 读者 详细 了 解 云 计算 中 各 类 资源 的 设计 
要 求 。 

第 7 章 : 介绍 云 服务 的 定义 和 设计 原则 ， 云 服务 与 云 管 理 平台 的 关系 ,以 及 云 服务 
描述 模型 ， 并 阐述 在 设计 云 服 务 过 程 中 需要 制定 的 服务 规范 、 技 术 领 域 规范 、 云 服务 开 
发 流程 等 ， 让 读者 了 解 云 服务 在 云 计算 中 的 作用 ， 以 及 云 服务 的 设计 、 开 发 是 云 平台 建 
设 过 程 中 非常 重要 的 环节 。 

第 8 章 : 介绍 云 管理 平台 的 设计 思路 及 需要 遵循 的 设计 原则 ， 并 详细 介绍 了 云 管理 
平台 总 体 功能 、 内 部 服务 、 服 务 质 量 等 要 求 ， 以 及 云 管理 平台 设计 核心 。 

第 9 章 : 从 IaaS、PaaS 和 SaaS 三 个 层面 进行 安全 分 析 ， 提 出 初步 的 保护 策略 ， 根 
据 安 全 分 析 ， 构 建 私 有 云 下 的 安全 架构 设计 模型 ， 并 就 各 个 防护 模块 进行 简要 阐述 。 
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第 10 章 : 重点 介绍 中 国 建设 银行 私有 云 建设 的 儿 个 成 果 ， 主 要 包括 资源 的 全 生命 
周期 管理 、 弹 性 伸缩 、 发 布 和 变更 管理 、 运 维 大 数据 分 析 以 及 监控 智能 人 处置， 总 结 中 国 
建设 银行 私有 云 建设 的 实施 收益 和 实施 难点 ， 为 从 业 人 员 设 计 和 实施 私有 云 提供 借鉴 。 

第 11 章 : 介绍 中 国 邮 政 储蓄 银行 开发 测试 云 建设 情况 ， 分 析 了 开发 测试 环境 现状 ， 
探索 云 技术 在 开发 测试 环境 中 的 应 用 ,全面 曾 述 中 国 邮 政 储蓄 银行 开发 测试 云 的 建设 过 
程 、 部 署 方案 ， 以 及 给 银行 带 来 的 价值 。 

第 12 章 : 介绍 浙江 省 农村 信用 社 联合 社 借助 私有 云 实现 在 互联 网 金融 上 的 创新 ， 
分 析 传 统 模式 建立 互联 网 金融 所 遇 到 的 问题 ， 建 设 以 私有 云 为 基础 的 全 新 互联 网 服务 系 
统 ， 详 细 阅 述 了 私有 云 的 建设 方案 及 所 取得 的 收益 。 
参加 本 书 编写 的 有 中 国 建设 银行 股份 有 限 公司 信息 技术 管理 部 的 金奖 石 总 经 理 、 戴 
、 侯 锋 、 张 有 才 、 高 亚军 、 刘 永福 、 刘 涵 、 重 朝 雄 、 侯 岳 、 艺 俊 天、 赵 子 健 、 张 明 、 
芳 、 李 康 、 万 威 ， 中 国 邮政 储蓄 银行 总 行 信息 科技 部 的 张 振 山 、 称 冬 生 、 帷 红 来 、 
宇 ， 浙 江 省 农村 信用 社 联 合 社 科 技 信息 处 的 顾 亚 明 、 傅 祝 庆 、 徐 云 飞 、 邓 运 高 、 许 
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1.1.1 云 计 算 国 际 背 景 


2006 年 美国 的 亚马逊 推出 了 世界 上 第 一 个 云 计 算 系 统 AWS (Amazon Web Services， 
亚马逊 云 服 务 ) ， 并 获得 了 巨大 成 功 。 此 后 ， 相 关 技 术 得 到 了 突 飞 独 进 的 发 展 。GCartner 
(高 德 纳 咨询 公司 ) 在 2013 年 的 云 计算 报告 中 指出 ，2013 年 全 球 公 共 云 服务 市 场 规模 
将 从 2012 年 的 1110 亿美 元 ， 增 长 18. 5% 至 1310 亿美 元 ，IaaS (JInfrastructure as a Serv- 
ice， 基 础 设施 即 服务 ) 依然 是 增长 最 快 的 云 计算 服务 ，2013 年 Iaas 的 增长 幅度 将 提高 
到 47. 3% ， 市 场 规模 将 达到 90 亿美 元 。Gartner 预测 ，2013 一 2016 年 ， 全 球 云 服务 支出 
总 计 将 达 6770 亿美 元 。 

随 着 云 计算 理念 的 不 断 深 入 ， 数 据 中心 和 了 IT (Information Technology， 信 息 技术 ) 
服务 管理 水 平成 为 企业 竞争 力 的 一 个 重要 组 成 部 分 ， 甚 至 能 直接 创造 价值 。 应 用 云 计算 
理念 和 云 计 算 技 术 的 数据 中 心 成 为 新 的 发 展 趋势 。 越 来 越 多 的 国外 银行 也 开始 考虑 将 传 
统 IT 基础 设施 迁移 到 云 计算 方案 。 























1.1.2 云 计算 国内 行业 背景 


近 些 年 ， 中 国 云 计算 从 概念 到 实际 应 用 有 了 实质 性 的 发 展 ， 尤 其 是 对 于 云 计算 基础 
架构 的 投资 更 是 发 展 迅速 。 国 内 大 中 型 企业 对 于 建设 云 计算 基础 架构 的 兴趣 越 来 越 浓 
厚 。 各 企业 数据 中 心 越 来 越 多 地 采用 虚拟 化 技术 和 上 自动 化 管理 软件 ， 并 逐步 向 云 计算 基 
础 架构 过 渡 。 云 基础 架构 已 经 成 为 下 一 代数 据 中 心 (Next Generation Data Center，NG- 
2 
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DC) 建设 的 主要 目标 。IDC (International Date Corporation， 国 际 数据 公司 ) 对 中 国 云 
计算 市 场 的 研究 数据 显示 ， 中 国 私 有 云 计 算 基 础 架构 市 场 将 保持 高 速 发 展 。 中 国 云 计 算 
基础 架构 市 场 及 其 预测 见 表 1-1。 

表 1-1 中 国 云 计算 基础 架构 市 场 及 其 预测 (单位 : 百 万 美元 ) 






























































年 度 2011 2012 2013 2014 2015 2016 

公有 云 运 营 商 基础 架构 支出 319.8 426.6 532. 4 636.5 747.1 856.5 

私有 云 用 户 基础 架构 支出 285. 8 410.4 555. 5 752.3 932.8 1157. 1 

总 计 605.7 837.0 1087.9 1388.8 1679.9 2013.6 

增长 率 ( % ) 38.2 30.0 27.7 21.0 19.9 
腾讯 、 百 度 、 阿 里 巴巴 等 国内 领先 的 互联 网 公司 ， 中 国 移动 、 中 国电 信 等 电信 公司 





都 开始 相关 的 研究 和 实施 ， 完 成 了 自身 的 云 计 算数 据 中 心 和 云 管理 平台 的 建设 。 经 过 近 
几 年 的 不 断 发 展 ， 云 计算 数据 中 心 已 经 从 Iaas 发 展 到 SaaS (Software as a Service ， 软 件 
即 服务 ) ， 应 用 范围 也 从 满足 企业 内 部 的 需求 扩展 到 满足 外 部 客户 的 需求 。 





1.1.3 商业 银行 数据 中 心 面临 的 问题 和 挑战 





随 着 银行 业务 的 迅速 发 展 和 规模 的 急剧 扩大 ， 银 行 开 系 统 的 数量 、 规 模 及 复杂 度 
也 呈 几 何 级 数 上 升 ， 业 务 对 IT 系统 的 安全 性 、 可 用 性 与 持续 性 的 依赖 程度 也 越 来 越 高 ， 
但 商业 银行 在 完成 数据 大 集中 之 后 ， 由 于 基础 设施 仍 主要 采用 传统 技术 方案 ， 数 据 中 心 
面临 着 如 下 困境 与 挑战 : 

1. 系统 高 可 用 性 要 求 日 益 严 格 ， 运行 风 险 日 益 突出 

商业 银行 数据 中 心 作为 “金融 业 跳动 的 心脏 ”"， 稳 定 运 行 和 控制 风险 是 第 一 要 务 。 
一 方面 ， 基 础 设施 故障 、 突 发 业务 压力 、 频 繁 变更 上 线 都 可 能 影响 系统 的 稳定 和 服务 质 
量 ， 随 着 业务 部 门 和 上 级 监管 机 构 要 求 不 断 提 高 ， 银 行 对 数据 中 心 高 可 用 性 要 求 也 日 益 
严格 ; 另 一 方面 ， 数 据 中 心 对 外 部 基础 设施 、 外 部 技术 和 服务 的 依赖 性 不 断 增 强 ， 网 络 
入 侵 、 信 息 泄露 等 安全 风险 日 益 突 出 。 

2. 技术 路 线 受制 于 人 ， 数 据 中 心 建设 成 本 不 断 攀 升 

大 型 商业 银行 一 直 以 来 采用 最 成 熟 、 可 靠 的 并 技术 路 线 ， 通 常 使 用 国外 主流 厂商 
提供 的 信息 技术 和 商业 产品 进行 集中 式 部 署 ， 在 信息 技术 实施 、 支 持 和 保障 上 很 大 程度 
依赖 信息 技术 供应 商 ， 存 在 技术 标准 不 统一 、 新 技术 应 用 和 技术 创新 缓慢 、 投 入 产 出 比 
低 等 问题 ， 也 使 得 银行 自身 缺乏 核心 技术 积累 ， 在 技术 路 线 选择 上 受制 于 国外 三 商 。 随 
着 基础 设施 规模 的 不 断 扩 大 ， 数 据 中 心 建设 成 本 不 断 攀 升 ， 例 如 在 淘宝 “11 .11” 促 
销 和 电 商 秒杀 等 业务 需求 中 ， 传 统 技 术 只 能 按照 业务 峰值 配置 基础 设施 资源 ， 会 造成 巨 
大 的 资源 浪费 。 因 此 ， 出 于 安全 生产 和 企业 降低 IT 成 本 的 双重 要 求 ， 银 行 叹 需 探寻 自 
主 可 控 的 创新 解决 方案 。 

3. 传统 IT 基础 设施 无 法 高 效 支 撑 银 行 创新 业务 

在 金融 服务 互联 网 化 、 移 动 化 发 展 趋势 下 以 及 利率 市 场 化 挑战 下 ， 银 行 从 战略 和 战 
术 层 面积 极 应 对 ， 提 出 了 金融 互联 网 、 大 数据 、 电 子 商务 、 客 户 体 验 等 新 的 战略 目标 ， 
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并 以 此 快速 推出 创新 业务 。 但 这 些 目 标 所 需要 的 海量 信息 技术 人 处 理 能 力 往 往 无 法 通过 传 
统 IT 基础 设施 解决 方案 有 效 满足 ， 即 使 传统 方案 能 够 实现 ， 企 业 也 无 法 承受 天 文 数字 
般 建设 成 本 以 及 漫长 的 建设 周期 。 要 兼顾 新 业务 需求 建设 成 本 和 响应 速度 ， 探 索 、 采 用 
新 技术 已 经 成 为 必然 选择 。 











1.1.4 商业 银行 私有 云 应 用 研究 背景 





当前 ， 银 行业 信息 科技 正面 临 新 的 机 遇 和 挑战 。 一 方面 ， 互 联网 金融 推动 银行 业务 
创新 ， 迫 使 银行 革新 现 有 开 技术 ; 另 一 方面 ， 云 计算 等 新 技术 的 产生 和 逐步 成 熟 为 银 
行 IT 基础 设施 建设 带 来 新 的 机 遇 。 

国内 的 金融 行业 对 于 云 计算 的 态度 已 经 从 研究 、 观 望 进入 实质 性 的 规划 实施 阶段 ， 
各 大 银行 已 开展 内 部 私有 云 项 目的 尝试 ， 引 入 云 计 算 技 术 的 数据 中 心 已 经 成 为 大 家 的 共 
识 。 但 传统 数据 中 心 的 云 化 将 对 数据 中 心 运营 服务 的 管理 能 力 产 生 巨 大 影响 ， 对 传统 
IT 运营 团队 提出 了 更 高 的 要 求 ， 需 要 具备 更 先进 、 更 全 面 、 更 高 层次 的 技术 、 运 营 、 
管理 和 服务 等 综合 能 力 。 相 对 于 互联 网 行业 ， 金 融 行业 的 云 计 算数 据 中心 建 设 还 处 于 起 
步 阶 段 ， 经 验 和 方法 还 没有 形成 完整 的 最 佳 实践 。 

中 国 建设 银行 (以 下 简称 建行 ) 自 2006 年 开始 实施 ITIL (JInformation Technology 
Infrastructure Library ， 信 息 技 术 基 础 架构 库 ) 项 目 ， 按照 规划 逐步 建设 ITIL 流程 ， 成 功 
实施 了 事件 管理 流程 、 问 题 管 理 流 程 、 变 更 管理 流程 、 发 布 管理 流程 、 服 务 请 求 管理 流 
程 、 配 置 管理 模块 及 知识 库 管 理 模块 。 经 过 多 年 的 持续 改进 ， 建 立 了 完善 的 ITIL 服务 
管理 体系 ,积累 了 丰富 的 服务 管理 实践 经 验 。2009 年 建行 开始 全 面 推进 数据 中 心 自动 化 
工具 体系 的 建设 ， 先 后 实现 了 服务 器 自动 化 、 网 络 自动 化 、 批 处 理 调度 自动 化 、 存 储 自 
动 化 ， 在 自动 化 方面 积累 了 丰富 的 经 验 ， 培 养 了 一 大 批 专业 人 才 。 云 计算 的 本 质 就 是 
ITIL 服务 管理 和 自动 化 的 融合 。 建 行 ITIL 和 自动 化 项 目的 实施 ， 为 向 云 数据 中 心 的 转 
型 商定 了 理论 和 技术 基础 。 在 此 背景 下 ，2012 年 建行 启动 了 新 一 代 IT 服务 管理 云 平台 
项 目 ， 在 参考 云 计算 最 新 技术 趋势 、 国 内 外 先进 的 云 数据 中 心 建设 理念 和 实践 经 验 的 基 
础 上 ， 结 合 建行 新 一 代 的 业务 需求 和 研究 成 果 ， 构 建 了 以 云 管理 平台 为 核心 的 一 体 化 管 
理 体系 ， 完 成 了 云 计 算数 据 中 心 一 期 的 建设 。 中 国 工商 银行 (以 下 简称 工行 ) 、 中 国 邮 
政 储 蘑 银 行 (以 下 简称 邮 储 ) 、 中 信和 银行 (以 下 简称 中 信 ) 等 商业 银行 也 在 私有 云 建设 
上 进行 了 大 量 实践 工作 ， 取 得 了 良好 效果 。 





























1.2 云 计 算 的 基础 概念 


1.2.1 云 计 算 定 义 


美国 国家 标准 与 技术 研究 院 (National Institute of Standards and Technology，NIST) 
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定义 : 云 计算 是 一 种 按 使 用 量 付费 的 服务 模式 ， 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 
网 络 访问 ， 进 入 可 配置 的 计算 资源 ( 包 插 网络、 服务 器 、 存 储 、 应 用 软件 、 服 务 ) 共 
享 池 ， 这 些 资源 能 够 被 快速 提供 ， 只 需 投 入 很 少 的 管理 工作 ,或 与 服务 供应 商 进行 很 少 
的 交互 。 

云 服务 是 由 云 计算 平台 提供 者 将 I 能力 以 面向 用 户 的 服务 形式 来 进行 包装 和 集成 ， 
通过 云 管理 平台 和 Internet (互联 网 ) 或 者 Intranet (内 联网 ) 渠道 向 云 服 务 消费 者 (用 
户 ) 来 提供 的 一 种 服务 。 例 如 IJBM 计算 云 和 亚马逊 的 EC2 (Elastic Compute Cloud ， 亚 
马 逊 弹性 计算 云 ) 通过 Internet 实现 计算 资源 的 按 需 供给 的 IaaS。 新 浪 云 通过 Internet 
提供 中 间 件 平台 的 Paas (平台 即 服务 ) 去 服务。 一 个 云 服务 可 以 集成 和 使 用 其 他 的 云 
服务 ， 往 往 一 个 高 阶 的 云 服 务 需 要 使 用 几 个 低 阶 的 云 服 务 进 行 底层 的 构建 。 

云 服 务 是 云 计 算 的 核心 内 容 ， 同 时 是 云 计 算 技术 实现 和 业务 应 用 的 结合 点 。 开 发 好 
的 云 服务 需要 发 布 注册 至 云 管理 平台 ， 云 管理 平台 需要 将 所 有 的 云 服务 面向 云 服 务 消费 
者 (用 户 ) 实现 交付 和 管理 。 当 云 服务 消费 者 提交 服务 请 求 并 被 批准 后 ， 云 服务 提供 
者 将 创建 一 个 云 服务 实例 ， 向 云 服 务 消 费 者 提供 云 服务 。 云 服务 实例 是 云 服务 在 生产 环 
境 下 存在 的 表现 形式 。 

云 计算 基本 原理 是 ,通过 计算 分 布 在 大 量 的 分 布 式 计算 机 上 ， 而 非 本 地 计算 机 或 远 
程 服务 器 中 的 数据 ， 企 业 数据 中 心 的 运行 将 与 互联 网 更 相似 。 这 使 得 企业 能 够 将 资源 切 
换 到 需要 的 应 用 上 ， 根 据 需求 访问 计算 机 和 存储 系统 。 

云 计 算 有 以 下 特点 : 

(1) 超大 规模 “ 云 计算 管理 系统 ”通常 具有 较 大 的 规模 ， 亚 马 逊 公有 云 已 经 拥有 
上 百 万 台 服 务 器 ， 微 软 、 阿 里 云 等 的 “ 云 ” 均 拥有 几 十 万 台 服 务 器 。 企 业 私 有 云 一 般 
拥有 数 百 上 千 台 服务 锅 。“ 云 ”能 赋予 用 户 前 所 未 有 的 计算 能 

(2) 虚拟 化 ” 云 计 算 支 持 用 户 在 任意 位 置 、 他 各 各 颖 交 取 让 用 服务， 所 请 求 
的 资源 来 自 “ 云 "， 而 不 是 固定 的 有 形 的 实体 。 应 用 在 “ 云 ” 中 某 处 运行 ， 但 实际 上 用 
eo eh 台 笔 记 本 或 者 一 个 手机 ， 就 可 
以 通过 网 络 服务 来 实现 我 们 需要 的 一 切 ， 甚 至 包括 超级 计算 这 样 的 任务 。 

(3) 高 可 靠 性 “ 云 ” 使 用 了 数据 多 副本 容错 、 计 算 节 点 同 构 可 互 换 等 措施 来 保障 
人 

(4) 通用 性 云 计算 不 针对 特定 的 应 用 ， 在 “ 云 ” 的 支撑 下 可 以 构造 出 千变万化 
的 应 用 ， 同 一 个 “ 云 ” 可 以 同时 支撑 不 同 的 应 用 运行 。 

(5) 高 可 扩展 性 “ 云 ” 的 规模 可 以 动态 伸缩 ， 满 足 应 用 和 用 户 规模 增长 的 需要 。 

(6) 按 需 服务 “ 云 ” 是 一 个 庞大 的 资源 池 ， 可 按 需 购买 ; 云 可 以 像 自来水 、 电 、 
煤气 那样 计 费 。 



































1.2.2 虚拟 化 技术 


虚拟 化 可 以 有 很 多 种 ， 如 硬件 虚拟 化 、 桌 面 虚拟 化 、 软 件 虚拟 化 、 存 储 虚 拟 化 、 网 
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络 虚 拟 化 等 ， 我 们 通 带 说 的 是 服务 需 虚 拟 化 ， 属 于 硬件 虚拟 化 。 将 服务 咒 物 理 资 源 抽象 
成 逻辑 资源 ， 使 一 台 服 务 器 变 成 几 台 甚至 上 百 台 相互 隔离 的 虚拟 服务 器 ， 并 且 虚 拟 服务 
器 可 以 在 物理 服务 咒 之 间 动 态 迁 移 ， 不 再 受制 于 物理 上 的 界限 ,使 CPU、 内 存 、 磁 盘 、 
IO (Input/Output,， 输入 /输出 ) 等 硬件 变 成 可 以 动态 管理 的 “资源 池 ”， 从 而 提高 资 
源 的 利用 率 ， 简 化 系统 管理 ， 实 现 服 务 器 整合 ， 使 IT 对 业务 的 变化 更 有 具 适 应 力 ， 这 就 
是 服务 器 的 虚拟 化 。 

服务 器 虚拟 化 的 核心 技术 是 Hypervisor。Hypervisor 是 运行 在 物理 服务 器 和 传统 操作 
系统 之 间 的 中 间 软 件 层 ， 可 人 允许 多 个 操作 系统 和 应 用 共享 硬件 ， 也 可 叫 作 VMM ( Vir- 
tual Machine Monitor， 虚 拟 机 监控 系统 ) 。Hypervisor 是 一 种 在 虚拟 环境 中 的 “元 ”操作 
系统 ， 通 过 它 可 以 访问 服务 器 上 包括 人 磁盘 和 内 存在 内 的 所 有 物理 设备 。Hypervisor 不 但 
协调 着 这 些 硬件 资源 的 访问 ， 也 同时 在 各 个 虚拟 机 之 间 施 加 防护 ， 进 行 安 全 隔离 ， 可 以 
说 Hypervisor 是 所 有 虚拟 化 技术 的 核心 。 

根据 硬件 的 不 同 ， 虚 拟 化 技术 也 分 为 小 型 机 平台 虚拟 化 和 X86 平台 虚拟 化 ， 小 型 
机 平台 虚拟 化 主要 有 IBM PowerVM 和 HP vPAR 技术 ， 在 这 里 不 做 过 多 讨论 ， 本 文 重点 
讲述 X86 平台 虚拟 化 技术 。 

目前 市 场 上 各 厂商 、 各 产品 的 Hypervisor 架构 存在 差异 ，X86 平台 虚拟 化 技术 常见 
的 有 两 类 : 全 虚拟 化 和 半 虚 拟 化 。 

1) 全 虚拟 化 也 称 为 裸 虚 拟 化 或 者 原始 虚拟 化 ， 即 由 GuestOS (Guest Operation Sys- 
tem， 和 宿主 级 操作 系统 ) 和 物理 裸 硬件 之 间 的 Hypervisor 层 完成 CPU、 内 存 、1/O 之 间 的 
协调 工作 ， 一些 受 保护 的 指令 必须 由 Hypervisor 来 捕获 处 理 ， 完 全 虚拟 化 不 需要 修改 
GuestOS 操作 系统 ，GuestOS 无 法 感知 它 到 底 运 行 在 硬件 还 是 软件 上 。 

2) 半 虚 拟 化 使 用 Hypervisor 分 享 存 取 底 层 的 硬件 ,但 是 它 的 GuestOS 操作 系统 集 
成 了 虚拟 化 方面 的 代码 ， 因 此 半 虚 拟 化 必须 对 Guest0OS 做 一 些 修改 。 

虚拟 化 技术 可 以 看 作 是 通过 软件 实现 对 操作 系统 的 资源 再 分 配 ; 而 半 虚 拟 化 技术 则 
是 通过 代码 修改 已 有 系统 ， 形 成 一 种 新 的 可 虚拟 化 系统 ， 调 用 硬件 资源 去 安装 多 个 
系统 。 

目前 主流 的 虚拟 化 平台 有 VMware ESXi、Microsoft Hyper-V、Redhat KVM 和 XEN。 
在 最 初 的 X86 虚拟 化 技术 平台 中 ，XEN 是 典型 的 半 虚 拟 化 平台 ，ESXi 是 典型 的 全 虚拟 
化 平台 ， 但 是 全 虚拟 化 是 大 势 所 趋 ， 现 在 这 几 种 主流 虚拟 化 平台 都 支持 全 虚拟 化 。 























1.2.3 资源 池 定 义 及 特点 


资源 池 (Resource Pool，RP) ， 是 指 云 计算 数据 中 心中 所 涉及 的 各 种 硬件 和 软件 的 
合 。 资 源 池 是 数据 中 心 重要 的 基础 设施 组 成 部 分 ， 在 基础 设施 云 架构 下 ,计算 资源 、 
存储 资源 、 网 络 资源 被 封装 整合 为 资源 池 。 资 源 池 要 符合 集约 化 的 特点 ， 要 能 够 进行 各 
种 资源 的 灵活 调配 ， 起 到 资源 利用 前 峰 填 谷 的 作用 。 
资源 池 主 要 有 以 下 特点 : 
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(1) 统一 管理 资源 池 中 的 各 类 资源 要 进行 统一 管理 、 统 一 调配 ， 不 能 在 单一 资 
源 上 出 现 瓶 颈 。 

(2) 负载 均衡 ”资源 利用 率 要 能 够 自动 达到 平衡 ,， 不 能 出 现 无 法 提供 服务 的 局 部 

(3) 资源 可 控 ”资源 池 可 设 定 资 源 高 低 水 位 线 ， 初始 化 时 ， 含 有 资源 对 象 的 最 小 
数目 称 为 低 水 位 线 ， 资 源 对 象 所 能 达到 的 最 大 数目 称 为 高 水 位 线 。 资 源 请 求 达到 资源 池 
供给 能 力 一 定 比 例 时 ， 启 动 扩容 ， 超 过 供给 能 力 时 ， 要 能 够 动态 迁移 至 安全 线 以 下 。 

(4) 自我 修复 ”资源 池 要 有 完备 的 高 可 用 措施 ， 一 般 故 障 能 够 无 需 人 为 介入 即 可 
自动 故障 恢复 ， 重大 故障 能 够 保证 在 RPO (Recovery Point Objective， 恢 复 点 目标 )、 
RTO (Recovery Time Objective， 恢 复 时 间 目 标 )。 

(5) 成 本 风险 兼顾 ”考虑 成 本 与 风险 的 平衡 。 








1.2.4 云 计 算 服 务 模式 





当前 ， 几 乎 所 有 的 知名 开 提供 商 、 互 联网 提供 商 ， 其 至 电信 运营 商都 在 向 云 计算 
进军 ， 都 在 提供 相关 的 云 计算 服务 。 但 归纳 起 来 ， 从 用 户 体 验 的 角度 出 发 ， 当 前 云 计算 
主要 分 为 三 种 服务 模式 。 云 计算 服务 模式 如 图 1-1 所 示 。 

1. IaaS (基础 设施 即 服务 ) 

Iaas 是 将 对 所 有 计算 基础 设 a 
施 的 使 用 提供 给 消费 者 的 服务 。 
它 包括 处 理 CPU、 内 存 、 存 储 、 | 
网 络 和 其 他 基本 的 计算 资源 ， 用 
户 能 够 按 需 任意 部 署 和 运行 各 类 
软件 ， 包 括 操作 系统 、 数 据 库 、 本 a 
中 间 件 以 及 各 类 应 用 程序 。 消 费 服务 器 /存储 
者 不 控制 也 不 管理 任何 云 计算 基 a 
础 设施 ,但 可 以 控制 操作 系统 的 
选择 、 计 算 能 力 、 存 储 空间 以 及 Se 
部 署 的 应 用 ， 也 可 能 获得 有 限 的 网 络 组 件 (例如 路 由 器 、 防 火 墙 、 负 载 均衡 的 控制 。 

业界 比较 典型 的 Taas (基础 设施 即 服务 ) 如 Amazon 为 个 人 和 企业 客户 提供 虚拟 服 
务 器 和 虚拟 存储 的 服务 。 值 得 一 提 的 是 ，Iaas 很 好 地 实现 了 云 计算 按 需 付费 的 理念 ， 通 
过 “弹性 云 ” 用 户 可 只 在 需要 时 才 接 入 这些 基 础 设施 资源 ， 并 只 为 自己 使 用 的 部 分 。 

2. PaaS (平台 即 服务 ) 

Paas 实际 上 是 指 将 软件 研发 的 平台 作为 一 种 服务 ， 提 交 给 用 户 。Paas 可 以 将 现 有 
各 种 业务 能 力 进 行 整合 ， 具 体 可 以 归 类 为 应 用 服务 器 、 业 务 能 力 接 人、 业务 引擎 、 业 务 
开放 平台 ， 向 下 根据 业务 能 力 需要 测算 基础 服务 能 力 ， 通 过 Iaas 提供 的 API 调用 硬件 
资源 ， 向 上 提供 业务 调度 中 心服 务 ， 实 时 监控 平台 的 各 种 资源 ， 并 将 这 些 资源 通过 API 
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( Application Programming Interface, 应 用 程序 编程 接口 ) 开放 给 Saas 用 户 。 用 户 或 者 厂 
商 基于 PaaS 平台 可 以 快速 开发 自己 所 需要 的 应 用 和 产品 。 同 时 ， 通 过 PaaS 平台 开发 的 
应 用 能 更 好 地 搭建 基于 SOA (Service-Oriented Architecture， 面 向 服务 的 体系 结构 ) 架构 
的 企业 应 用 。 

PaaS 所 提供 的 服务 与 其 他 的 服务 最 根本 的 区 别 是 Paas 提供 的 是 一 个 基础 平台 ， 而 
不 是 某 种 应 用 。 在 传统 的 观念 中 ,平台 是 向 外 提供 服务 的 基础 。 一 般 来 说 ， 平台 作为 应 
用 系统 部 署 的 基础 ， 是 由 应 用 服务 提供 商 搭 建 和 维护 的 ， 而 Paas 颠覆 了 这 种 概念 ， 由 
专门 的 平台 服务 提供 商 搭建 和 运营 该 基础 平台 ， 并 将 该 平台 以 服务 的 方式 提供 给 应 用 系 
统 运营 商 。 

对 于 小 型 企业 和 初创 型 企业 来 说 ，Paas 也 是 比较 有 用 的 ， 因 为 这 些 企 业 并 没有 
广泛 的 、 具 有 较 高 依赖 性 的 旧 应 用 程序 需要 迁移 。Paas 的 多 租户 特性 可 实现 应 用 程 
序 和 数据 资源 的 最 大 数量 共享 ， 同 时 让 开发 资源 继续 专注 于 应 用 程序 的 交付 和 连接 ， 
而 不 是 开发 和 支持 数据 库 资源 。PaaS 的 未 来 发 展 空间 似乎 在 小 型 企业 和 初创 企业 ， 
这 类 公司 由 于 不 依赖 于 与 旧 应 用 程序 的 集成 而 更 适 于 在 云 计算 中 进行 应 用 程序 开发 。 

3. SaaS (软件 即 服务 ) 

SaaS 是 一 种 通过 Internet 提供 软件 的 模式 ,厂商 将 应 用 软件 统一 部 署 在 自己 的 服务 
器 上 ， 客 户 可 以 根据 自己 实际 需求 ， 通 过 互联 网 向 厂商 定购 所 需 的 应 用 软件 服务 ， 按 年 
购 的 服务 多 少 和 时 间 长 短 向 厂商 支付 费用 ， 并 通过 互联 网 获得 厂商 提供 的 服务 。 用 户 不 
用 再 购买 软件 ， 而 改 用 向 提供 商 租用 基于 Web 的 软件 ， 来 管理 企业 经 营 活动 ， 且 无 需 
对 软件 进行 维护 ， 服 务 提供 商会 全 权 管 理 和 维护 软件 ， 软 件 厂 商 在 向 客户 提供 互联 网 应 
用 的 同时 ， 也 提供 软件 的 离线 操作 和 本 地 数据 存储 ， 让 用 户 随时 随地 都 可 以 使 用 其 定购 
的 软件 和 服务 。 对 于 许多 小 型 企业 来 说 ，SaaS 是 采用 先进 技术 的 最 好 途径 ， 它 消除 了 
企业 购买 、 构 建 和 维护 基础 设施 和 应 用 程序 的 需要 。 

SaaS 软件 应 用 服务 经 过 多 年 的 发 展 , 已 经 开始 从 SaaS1.0 的 阶段 慢 慢 进化 到 
SaaS2.0 的 阶段 。 类 似 于 Web1.0 与 Web2. 0 的 概念 ，SaaS1. 0 更 多 地 强调 由 服务 提供 
商 本 身 提供 全 部 应 用 内 容 与 功能 ， 应 用 内 容 与 功能 的 来 源 是 单一 的 ; 而 SaaS2.0 阶 
段 ， 服 务 运营 商 在 提供 自身 核心 Saas 应 用 的 同时 ， 还 向 各 类 开发 伙伴 、 行 业 合作 伙 
伴 开放 一 套 具 备 强大 定制 能 力 的 快速 应 用 定制 平台 ,使 这 些 合作 伙伴 能 够 利用 平台 
迅速 配置 出 特定 领域 、 特 定 行业 的 SaaS 应 用 ,与 服务 运营 商 本 里 的 SaaS 应 用 无 缝 集 
成 ， 并 通过 服务 运营 商 的 门户 平台 、 销 售 渠 道 提 供给 最 终 企业 用 户 使 用 ， 共 同 分 享 
收益 。 

SaaS 通过 租赁 的 方式 提供 软件 服务 ,省略 了 软件 安装 实施 过 程 中 一 系列 专业 并 复 
杂 的 环节 ， 使 软件 的 实施 使 用 变 得 简单 易 掌 握 。SaaS 模式 软件 的 开发 基于 “能 完全 蔡 
代 传 统管 理 软件 功能 ”这 样 的 要 求 ， 并 提供 在 线 服 务 和 先进 的 管理 思想 ， 实 现 销售 、 
生产 、 采 购 、 财 务 等 多 部 门 多 角色 在 同一 个 平台 上 开展 工作 ， 实 现 信息 可 管控 的 高 度 共 
享 和 协同 。 正 是 由 于 这 些 优势 ，SaaS 发 展 非常 迅速 。 
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1.2.5 云 计算 部 署 模式 








对 于 提供 者 而 言 ， 云 计算 包括 以 下 三 种 部 署 模式 : 公有 云 、 私 有 云 和 混合 云 模式 。 

1. 公有 云 

公有 云 通 常 指 第 三 方 提供 商 为 用 户 提供 的 能 够 使 用 的 云 ， 公 有 云 一 般 可 通过 Inter- 
net 使 用 ， 可 能 是 免费 或 成 本 低廉 的 。 公 有 云 的 核心 属性 是 共享 资源 服务 ， 它 所 有 的 服 
务 是 供 别 人 使 用 ， 而 不 是 自己 用 。 目 前 ， 典 型 的 公有 云 有 微软 的 Windows Azure Plat- 
form 、 亚 马 逊 的 AWS， 以 及 国内 的 阿里 云 等 。 

对 于 使 用 者 而 言 ， 公 有 云 的 最 大 优点 是 ， 其 所 应 用 的 程序 、 服 务 及 相关 数据 都 存放 
在 公有 云 的 提供 者 处 ， 自 己 无 需 做 相应 的 投资 和 建设 。 目 前 最 大 的 问题 是 ， 由 于 数据 不 
存储 在 自己 的 数据 中 心 ， 其 安全 性 存在 一 定 风 险 。 同 时 ， 公 有 云 的 可 用 性 不 受 使 用 者 控 
制 ， 这 方面 也 存在 一 定 的 不 确定 性 。 

2. 私有 云 

企业 自己 使 用 的 云 ， 它 所 有 的 服务 不 是 供 别 人 使 用 的 ， 而 是 供 自己 内 部 人 员 或 分 支 
机 构 使 用 的 。 私 有 云 的 部 署 比较 适合 于 有 众多 分 文 机 构 的 大 型 企业 或 政府 部 门 。 随 着 这 
些 大 型 企业 数据 中 心 的 集中 化 ， 私 有 云 将 会 成 为 他 们 部 署 IT 系统 的 主流 模式 。 

相对 于 公有 云 ， 私 有 云 部 署 在 企业 内 部 。 因 此 其 数据 安全 性 、 系 统 可 用 性 都 可 由 日 
己 控制 。 

3. 混合 云 

它 是 指 公 有 云 和 私有 云 的 混合 。 混 合 云 提供 既 在 公共 空间 又 在 私有 空间 中 的 服务 。 
当 公司 需要 使 用 既是 公有 云 又 是 私有 云 的 服务 时 ， 选 择 混合 云 比 较 合 适 。 混 合 云 把 公有 
云 模式 与 私有 云 模式 结合 在 一 起 ， 混 合 云 有 助 于 提供 所 需 的 、 外 部 供应 的 扩展 。 用 公有 
云 的 资源 扩充 私有 云 的 能 力 ， 可 用 来 在 发 生 工 作 负荷 快速 波动 时 维持 服务 水 平 。 混 合 云 
也 可 用 来 处 理 预期 的 工作 负荷 高 峰 。 混 合 云 需 要 考虑 的 问题 是 数据 和 处 理 资 源 之 间 的 
关系 。 















































1.3 云 计算 产业 应 用 





自 SaaS 在 20 世纪 90 年 代 末 出 现 以 来 ， 云 计算 服务 已 经 经 历 了 10 多 年 的 发 展 历 
程 。 云 计算 服务 真正 受到 整个 开 产业 的 重视 是 始 于 2005 年 亚马逊 推出 的 AWS 服务 ， 
产业 界 认 识 到 亚马逊 建立 了 一 种 新 的 IT 服务 模式 。 在 此 之 后 ,谷歌 、IBM 、 微 软 等 互 
联网 和 开 企业 分 别 从 不 同 的 角度 开始 提供 不 同 层面 的 云 计算 服务 ， 云 服务 进入 了 快速 
发 展 的 阶段 。 云 服务 正在 逐步 突破 互联 网 市 场 的 范畴 ， 政 府 、 公 共管 理 部 门 、 各 行业 企 
业 也 开始 接受 云 服 务 的 理念 ， 并 开始 将 传统 的 自 建 IT 方式 转 为 使 用 云 服 务 方式 ， 云 服 
务 将 真正 进入 其 产业 的 成 熟 期 。 
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最 近 几 年 ， 中 国 云 计算 从 概念 到 实际 应 用 有 了 实质 性 的 发 展 ， 尤 其 是 对 于 云 计 算 基 
础 架构 的 投资 更 是 发 展 迅速 。 国 内 大 中 型 企业 对 于 建设 云 计算 基础 架构 的 兴趣 越 来 越 浓 
厚 。 各 企业 数据 中 心 越 来 越 多 地 采用 虚拟 化 技术 和 自动 化 管理 软件 ， 并 逐步 向 云 计 算 基 
础 架构 过 渡 。 云 基础 架构 已 经 成 为 下 一 代数 据 中 心 (NGDC) 建设 的 主要 目标 。 阿 里 巴 
巴 、 腾 讯 等 国内 领先 的 互联 网 公司 已 经 开始 加 紧 云 计算 布局 。 

云 计 算 已 被 确定 成 为 国家 重点 支持 项 目 ， 这 将 加 速 云 计算 在 国内 的 落地 ， 互 联网 、 
运营 商 以 及 手机 厂商 等 都 将 自发 性 地 进入 云 计算 产业 ， 后 续 扶 持 政 策 的 陆续 出 台 与 产业 
资金 的 进入 ， 也 将 加 速 整个 行业 的 快速 发 展 。 本 章节 将 介绍 几 个 国内 外 比较 典型 的 云 计 
算 平台 。 

















1.3.1 国外 云 计 算 应 用 


1.3.1.1 亚马逊 云 计 算 服 务 

亚马逊 是 互联 网 上 最 大 的 在 线 零 售 商 ， 但 是 同时 也 为 独立 开发 人 员 以 及 开发 商 提 供 
云 计算 服务 平台 。 亚 马 逊 将 其 云 计算 平台 称 为 弹性 计算 云 ， 它 是 最 早 提供 远程 云 计算 平 
台 服 务 的 公司 。 

1. 开放 的 服务 

亚马逊 将 自己 的 弹性 计算 云 建立 在 公司 内 部 的 大 规模 集群 计算 的 平台 之 上 ， 而 用 户 
可 以 通过 弹性 计算 云 的 网 络 界面 去 操作 在 云 计算 平台 上 运行 的 各 个 实例 (Instance) ， 而 
付费 方式 则 由 用 户 的 使 用 状况 决定 ， 即 用 户 仅 需要 为 自己 所 使 用 的 计算 平台 实例 付费 ， 
运行 结束 后 计 费 也 随 之 结束 。 

弹性 计算 云 从 严格 意义 上 来 看 ， 并 不 是 亚马逊 公司 推出 的 第 一 项 云 服务 ， 它 由 亚 马 
逊 网 络 服务 的 现 有 平台 发 展 而 来 。 早 在 2006 年 3 月 ,亚马逊 就 发 布 了 简单 存储 服务 
(Simple Storage Service，S3 ) ， 这 种 存储 服务 按照 每 个 月 类 似 租 金 的 形式 进行 服务 付费 ， 
同时 用 户 还 需要 为 相应 的 网 络 流量 进行 付费 。 亚 马 f 逊 网 络 服务 平台 使 用 REST (Repre- 
sentational State Transfer ， 表 述 性 状态 传递 ) 和 简单 对 象 访 问 协议 (Simple Object Access 
Protocol，SOAP) 等 标准 接口 ， 用 户 可 以 通过 这 些 接口 访问 到 相应 的 存储 服务 。 

2007 年 7 月， 亚马逊 公司 推出 了 简单 队列 服务 (Simple Queue Service，SQS) ， 这 
项 服务 使 托管 主机 可 以 存储 计算 机 之 间 发 送 的 信息 。 通 过 这 一 项 服务 ， 应 用 程序 编写 人 
员 可 以 在 分 布 式 程序 之 间 进 行 数据 传递 ， 而 无 需 考 虑 信息 丢失 的 问题 。 通 过 这 种 服务 方 
式 ， 即 使 信息 的 接收 方 还 没有 模块 启动 也 没有 关系 。 服 务 内 部 会 缓存 相应 的 信息 ， 而 一 
有 旦 有 信息 接收 组 件 被 启动 运行 ， 则 队列 服务 将 信息 提交 给 相应 的 运行 模块 进行 处 理 。 同 
样 的 ， 用 户 必 须 为 这 种 信息 传递 服务 进行 付费 使 用 ， 计 费 的 规则 与 存储 计 费 规则 类 似 ， 
依据 信息 的 个 数 以 及 信息 传递 的 大 小 进行 收费 。 

在 亚马逊 提供 上 述 服务 的 时 候 ， 并 没有 从 头 开始 开发 相应 的 网 络 服务 组 件 ， 而 是 对 
公司 已 有 的 平台 进行 优化 和 改造 ， 一 方面 满足 了 本 身 网 络 零售 购物 应 用 程序 的 需求 ， 另 
一 方面 也 供 外 部 开发 人 员 使 用 。 
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在 开放 了 上 述 的 服务 接口 之 后 ,亚马逊 公司 进一步 在 此 基础 上 开发 了 EC2 系统 ， 
并 且 开 放 给 外 部 开发 人 员 使 用 。 

2. 灵活 的 工作 模式 

亚马逊 的 云 计算 模式 沿袭 了 简单 易 用 的 传统 ， 并 且 建 立 在 亚马逊 公司 现 有 的 云 计算 
基础 平台 之 上 。 弹 性 计算 云 用 户 使 用 客户 端 通过 SOAP over HTTPS 协议 来 实现 与 亚马逊 
弹性 计算 云 内 部 的 实例 进行 交互 。 使 用 HTTPS (Hyper Text Transfer Protocol over Secure 
Socket Layer， 网 络 协议 ) 协议 的 原因 是 为 了 保证 远 端 连接 的 安全 性 ， 避 免 用 户 数据 在 
传输 的 过 程 中 造成 泄露 。 因 此 ， 从 使 用 模式 上 来 说 ， 弹 性 计算 云 平台 为 用 户 或 者 开发 人 
员 提 供 了 一 个 虚拟 的 集群 环境 ， 使 得 用 户 的 应 用 具有 充分 的 灵活 性 ， 同 时 也 减轻 了 云 计 
算 平台 拥有 者 (亚马逊 公司 ) 的 管理 负担 。 

而 弹性 计算 云 中 的 实例 是 一 些 真 正在 运行 中 的 虚拟 机 服务 器 ， 每 一 个 实例 代表 一 个 
运行 中 的 虚拟 机 。 对 于 提供 给 某 一 个 用 户 的 虚拟 机 ， 该 用 户 具 有 完整 的 访问 权限 ， 包 括 
针对 此 虚拟 机 的 管理 员 用 户 权 限 。 虚 拟 服务 器 的 收费 也 是 根据 虚拟 机 的 能 力 进行 计算 
的 ， 因此， 实际 上 用 户 租用 的 是 虚拟 的 计算 能 力 ， 简 化 了 计 费 方式 。 在 弹性 计算 云 中 ， 
提供 了 三 种 不 同 能 力 的 虚拟 机 实例 ， 具 有 不 同 的 收费 价格 。 例 如 ， 其 中 默认 的 也 是 最 小 
的 运行 实例 是 1.7GB 的 内 存 ，1 个 EC2 的 计算 单元 ，160GB 的 虚拟 机 内 部 存储 容量 ， 
是 一 个 32 位 的 计算 平台 ,收费 标准 为 每 小 时 10 美 分 。 在 当前 的 蓝 计算 平台 中 ， 还 有 两 
种 性 能 更 加 强劲 的 虚拟 机 实例 可 供 使 用 ， 当 然 价 格 也 更 加 昂贵 一 点 。 

由 于 用 户 在 部 署 网 络 程序 的 时 候 ， 一 般 会 使 用 超过 一 个 运行 实例 ， 需 要 很 多 个 实例 
共同 工作 。 弹 性 计算 云 的 内 部 也 架设 了 实例 之 间 的 内 部 网 络 ， 使 得 用 户 的 应 用 程序 在 不 
同 的 实例 之 间 可 以 通信 。 在 弹性 计算 云 中 的 每 一 个 计算 实例 都 具有 一 个 内 部 的 IP (In- 
ternet Protocol ， 网 络 互联 协议 ) 地 址 ， 用 户 程序 可 以 使 用 内 部 IP 地 址 进行 数据 通信 ， 
以 获得 数据 通信 的 最 好 性 能 。 每 一 个 实例 都 具有 外 部 的 地 址 ， 用 户 可 以 将 分 配给 自己 的 
弹性 IP 地 址 分 配给 自己 的 运行 实例 ， 使 得 建立 在 弹性 计算 云 上 的 服务 系统 能 够 为 外 部 
提供 服务 。 当 然 ， 亚 马 逊 公司 也 对 网 络 上 的 服务 流量 计 费 ， 计 费 规则 也 按照 内 部 传输 以 
及 外 部 传输 进行 分 开 。 

总 而 言 之 ， 亚 马 逊 通过 提供 弹性 计算 云 ， 减 少 了 小 规模 软件 开发 人 员 对 于 集群 系统 
的 维护 ， 并 且 收 费 方式 相对 简单 明了 ， 用 户 使 用 多 少 资源 ， 只 需要 为 这 一 部 分 资源 付费 
即 可 。 这 种 付费 方式 与 传统 的 主机 托管 模式 不 同 。 传 统 的 主机 托管 模式 让 用 户 将 主机 放 
人 到 托管 公司 ， 用 户 一 般 需 要 根据 最 大 或 者 计划 的 容量 进行 付费 ， 而 不 是 根据 使 用 情况 
进行 付费 ， 而 且 可 能 还 需要 保证 服务 的 可 靠 性 、 可 用 性 等 ， 付 出 的 费用 更 多 ， 而 很 多 时 
候 ， 服 务 并 没有 进行 满 额 资源 使 用 。 而 根据 亚马逊 的 模式 ， 用 户 只 需要 为 实际 使 用 情况 
付费 即 可 。 

在 用 户 使 用 模式 上 ， 亚 马 逊 的 弹性 计算 云 要 求 用 户 要 创建 基于 亚马逊 规格 的 服务 器 
映像 〈 名 为 亚马逊 机 器 映像 即 Amazon Machine Image，AMI)。 弹 性 计算 云 的 目标 是 服 
务 器 映像 能 够 拥有 用 户 想 要 的 任何 一 种 操作 系统 、 应 用 程序 、 配 置 、 登 录 和 安全 机 制 ， 
但 是 当前 情况 下 ， 它 只 支持 Linux 内 核 。 通 过 创建 自己 的 AMI， 或 者 使 用 亚马逊 预先 为 
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用 户 提供 的 AMI， 用 户 在 完成 这 一 步骤 后 将 AMI 上 传 到 弹性 计算 云 平台 ， 然 后 调用 亚 
马 逊 的 应 用 编程 接口 (API) ， 对 AMI 进行 使 用 与 管理 。AMI 实际 上 就 是 虚拟 机 的 映像 ， 
用 户 可 以 使 用 它们 来 完成 任何 工作 ， 例 如 运行 数据 库 服 务 器 ， 构 建 快 速 网 络 下 载 平 台 ， 
提供 外 部 搜索 服务 甚至 可 以 出 租 自己 具有 特色 的 AMI 而 获得 收益 。 用 户 所 拥有 的 多 个 
AMI 可 以 通过 通信 而 彼此 合作 ， 就 像 当前 的 集群 计算 服务 平台 一 样 。 

在 弹性 计算 云 的 将 来 发 展 过 程 中 ， 亚 马 逊 也 规划 了 如 何在 云 计算 平台 之 上 帮助 用 户 
开发 Web2. 0 应 用 程序 。 亚 马 撑 认为 除了 它 所 依赖 的 网 络 零 售 业务 之 外 ， 云 计算 也 是 亚 
马 逊 公司 的 核心 价值 所 在 。 可 以 预见 ， 在 将 来 的 发 展 过 程 中 ， 亚 马 逊 必然 会 在 弹性 计算 
云 平台 上 添加 更 多 的 网 络 服务 组 件 模 块 ， 为 用 户 构建 云 计算 应 用 提供 方便 。 

1.3.1.2 微软 云 计算 服务 

在 互联 网 时 代 ， 微 软 的 愿景 是 希望 借助 互联 网 和 软件 的 力量 ， 为 用 户 创造 跨越 不 同 
设备 的 无 颖 体验 。 云 计算 时 代 的 开启 加 速 了 这 个 新 愿景 的 实现 。 

微软 认为 ， 未 来 的 互联 网 世界 将 会 是 “ 云 + 端 ” 的 组 合 ， 在 这 个 以 “ 云 ” 为 中 心 
的 世界 里 ， 用 户 可 以 便捷 地 使 用 各 种 终端 设备 访问 云 中 的 数据 和 应 用 ， 这 些 设备 可 以 是 
计算 机 和 手机 ， 甚 至 是 电视 等 大 家 熟悉 的 各 种 电子 产品 ， 同 时 用 户 在 使 用 各 种 设备 访问 
云 中 的 服务 时 ,得 到 的 是 完全 相同 的 无 缝 体验 。 云 计算 平台 是 现 有 IT 和 互联 网 技术 以 
及 业务 模型 逐渐 演变 的 结果 ， 而 一 个 成 功 的 云 计算 平台 可 以 最 大 限度 地 发 挥 现 有 软件 开 
发 经 验 、 能 力 和 各 种 资源 。 长 期 以 来 ,微软 致力 于 云 计 算 技 术 和 服务 的 不 断 创新 ， 在 动 
态 数据 中 心 、 私 有 云 以 及 公有 云 等 方面 开展 了 卓有成效 的 探索 和 实践 。 

2008 年 10 月 ， 微 软 发 布 了 自己 的 公有 云 计算 平台 一 一 Windows Azure Platform， 由 
此 拉 开 了 微软 的 云 计算 大 幕 。 

1. 微软 的 云 计算 战略 及 特点 

微软 的 云 计算 战略 包括 三 大 部 分 ， 目 的 是 为 自己 的 客户 和 合作 伙伴 提供 三 种 不 同 的 
云 计算 运营 模式 : 

Qa 微软 运营 : 微软 自己 构建 及 运营 公有 云 的 应 用 和 服务 ， 同 时 向 个 人 消费 者 和 企 
业 客 户 提供 云 服 务 。 例 如 ， 微 软 向 最 终 使 用 者 提供 的 Online Services (在 线 服 务 ) 和 
Windows Live (Web 服务 平台 ) 等 服务 。 

@) 伙伴 运营 : ISV/SI (Independent Software Vendor/System Integration ， 独 立 软 件 供 
应 商 / 系 统 集成 ) 等 各 种 合作 伙伴 可 基于 Windows Azure Platform 开发 ERP ( Enterprise 
Resource Planning， 企 业 资 源 计 划 ) 、CRM (Customer Relationship Management， 客 户 关 
系 管 理 ) 等 各 种 云 计 算 应 用 ， 并 在 Windows Azure Platform 上 为 最 终 使 用 者 提供 服务 。 
另外 一 个 选择 是 ， 微 软 运营 在 自己 的 云 计 算 平 台中 的 商务 办 公 在 线 套 装 软件 ( Business 
Productivity Online Suite ，BPOS) 产品 也 可 交 由 合作 伙伴 进行 托管 运营 。BPOS 主要 包括 
Exchange Online 、SharePoint Online 、Office Communications Online 和 LiveMeeting Online 
等 服务 。 

@) 客户 自 建 : 客户 可 以 选择 微软 的 云 计算 解决 方案 构建 自己 的 云 计算 平台 。 微 软 
可 以 为 用 户 提供 包括 产品 、 技 术 、 平 台 和 和 运 维 管理 在 内 的 全 面 支 持 。 
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与 其 他 公司 的 云 计算 战略 不 同 ,微软 的 云 计算 战略 有 三 个 上 典型 特点 即 软件 + 服 
务 、 平 台 战略 和 自由 选择 。 

(1) 软件 + 服务 ”在 云 计算 时 代 ， 一 个 企业 是 否 就 不 需要 自己 部 署 任 何 的 全 系 
统 ， 一 切 都 从 云 中 计算 平台 获取 呢 ? 或 者 反 过 来 ， 企 业 还 是 像 以 前 一 样 ， 全 部 的 开 系 
统 都 自己 部 署 ， 不 从 云 中 获取 任何 的 服务 呢 ? 

很 多 企业 认为 有 些 IT 服务 适合 从 云 中 获取 ， 如 CRM、 网 络 会 议 、 电 子 邮 件 等 ; 但 
有 些 系统 不 适合 部 署 在 云 中 ， 如 自己 的 核心 业务 系统 、 财 务 系统 等 。 因 此 ， 微 软 认为 理 
想 的 模式 将 是 “软件 + 服务 ”"， 即 企业 既 会 从 云 中 获取 必需 的 服务 ， 也 会 自己 部 署 相关 
的 IT 系统 。 

“软件 + 服务 ”可 以 简单 描述 为 两 种 模式 : 

QD 软件 本 身 架 构 模 式 是 软件 加 服务 。 例 如 ， 杀 毒 软 件 本 身 部 署 在 企业 内 部 ， 但 是 
杀毒 软件 的 病毒 库 更 新 服务 是 通过 互联 网 进行 的 ， 即 从 云 中 获取 。 

@) 企业 的 一 些 开 系 统 由 自己 构建 ， 另 一 部 分 向 第 三 方 租赁 、 从 云 中 获取 服务 。 例 
如 ， 企 业 可 以 直接 购买 软 硬 件 产 品 ， 在 企业 内 部 自己 部 署 ERP 系统 ， 而 同时 通过 第 三 
方 云 计算 平台 获取 CRM、 电 子 邮 件 等 服务 ， 而 不 是 自己 建设 相应 的 CRM 和 电子 邮件 
系统 。 

“软件 + 服务 ”的 好 处 在 于 ， 既 充分 继承 了 传统 软件 部 署 方式 的 优越 性 ， 又 大 量 利 
用 了 云 计 算 的 新 特性 。 

(2) 平台 战略 ”为 客户 提供 优秀 的 平台 一 直 是 微软 的 目标 。 在 云 计算 时 代 , 平台 
战略 也 是 微软 的 重点 。 

在 云 计算 时 代 ， 有 三 个 平台 非常 重要 ， 即 开发 平台 、 部 署 平台 和 运营 平台 。Win- 
dows Azure Platform 是 微软 的 云 计算 平台 ， 其 在 微软 的 整体 云 计算 解决 方案 中 发 挥 关 键 
作用 。 它 既是 运营 平台 ， 又 是 开发 、 部 署 平台 ; 既 可 运行 微软 的 自 有 应 用 程序 ， 也 可 以 
开发 部 署 用 户 或 ISV 的 个 性 化 服务 ; 既 可 以 作为 Saas 等 的 应 用 模式 的 基础 ， 又 可 以 与 
微软 线 下 的 系列 软件 产品 相互 整合 和 支撑 。 事 实 上 ， 微 软 基 于 Windows Azure Platform ， 
在 云 计算 服务 和 线 下 客户 自 有 软件 应 用 方面 都 拥有 了 更 多 样 化 的 应 用 交付 模式 、 更 丰富 
的 应 用 解决 方案 、 更 灵活 的 产品 服务 部 署 方式 和 商业 运营 模式 。 

(3) 自由 选择 ”为 用 户 提供 自由 选择 的 机 会 是 微软 云 计 算 战略 的 第 三 大 典型 特点 。 
这 种 自由 选择 表现 在 以 下 三 个 方面 : 

1) 用 户 可 以 自由 选择 传统 软件 或 云 服务 两 种 方式 。 自 己 部 署 IT 软件 、 采 用 云 服务 
或 者 两 者 都 用 ， 无 论 是 用 户 选择 哪 种 方式 ， 微 软 的 云 计 算 都 能 支持。 

2) 用 户 可 以 选择 微软 不 同 的 云 服 务 。 无 论 用 户 需 要 的 是 SaaS 、Paas 还 是 IaaSs ， 微 
软 都 有 丰富 的 服务 供 其 选择 。 微 软 拥有 全 面 的 SaaSs， 包 括 针 对 消费 者 的 Live 服务 和 针 
对 企业 的 Online 服务 ; 也 提供 基于 Windows Azure Platform 的 PaaS; 还 提供 数据 存储 、 
计算 等 Iaas 和 数据 中 心 优化 服务 。 用 户 可 以 基于 任何 一 种 服务 模型 选择 使 用 云 计 算 的 
相关 技术 、 产 品 和 服务 。 

3) 用 户 和 合作 伙伴 可 以 选择 不 同 的 云 计算 运营 模式 。 微 软 提供 多 种 云 计 算 运 营 模 
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式 。 用 户 和 合作 伙伴 可 直接 应 用 微软 运营 的 云 计算 服务 ， 用 户 也 可 以 采用 微软 的 云 计算 
解决 方案 和 技术 工具 自 建 云 计算 应 用 ; 合作 伙伴 还 可 以 选择 运营 微软 的 云 计算 服务 或 自 
己 在 微软 云 平 台 上 开发 云 计算 应 用 。 

2. 微软 云 计算 解决 方案 

微软 主要 有 三 类 云 计 算 解 决 方案 ， 即 Live 和 Online 解决 方案 、Windows Azure Plat- 
form 解决 方案 ， 以 及 动态 云 解决 方案 

(1) Live 和 Online 解决 方案 微软 的 云 计算 应 用 既 有 针对 消费 者 的 服务 ， 也 有 针 
对 企业 的 服务 。 对 于 用 户 而 言 ， 这 些 云 计 算 解 决 方案 对 应 的 客户 自 有 软件 〈 即 客户 自 
己 购 买 或 构建 的 软件 并 安装 运行 在 自己 的 环境 中 ) 都 是 需求 最 广 、 用 户 最 熟悉 的 应 用 
软件 ， 微 软 提 供 相 应 的 云 计算 应 用 模式 ， 为 用 户 提供 更 多 的 应 用 模式 选择 ， 让 应 用 这 些 
软件 服务 的 用 户 可 以 缩减 系统 建设 投资 、 降 低 软 件 升级 运 维 成 本 、 随 需 随 用 ， 而 这 恰恰 
是 云 计算 模式 的 应 用 优势 。 微 软 当 前 提供 的 云 计算 解决 方案 已 包括 操作 系统 、 办 公 软 
件 、 即 时 通信 、 邮 件 、 中 间 件 、 应 用 管理 软件 等 系列 产品 ， 为 消费 者 和 企业 用 户 提 供 了 
全 面 的 云 计算 应 用 选择 。 

(2) Windows Azure Platform 解决 方案 ” Windows Azure Platform 是 一 个 运行 在 微软 
数据 中 心 的 云 计算 平台 ， 它 包括 一 个 云 计算 操作 系统 和 一 个 为 开发 者 提供 的 服务 集合 
开发 人 员 创 建 的 应 用 既 可 以 直接 在 该 平台 中 运行 ， 也 可 以 使 用 该 去 计算 平台 提供 的 服 
务 。 相 比较 而 言 ，Windows Azure Platform 延续 了 微软 传统 软件 平台 的 特点 ， 能 够 为 客户 
提供 熟悉 的 开发 体验 。 

用 户 已 有 的 许多 应 用 程序 都 可 以 相对 平滑 地 迁移 到 该 平台 上 运行 。 另 外 ，Windows 
Azure Platform 还 可 以 按照 云 计 算 的 方式 按 需 扩展 ， 在 商业 开发 时 可 以 节省 开发 部 署 的 
时 间 和 费用 。 

Windows Azure Platform 包括 Windows Azure、SQL Azure (数据 库 服务 ) 和 Windows 
Azure Platform AppFabric (开发 服务 ) 。Windows Azure 可 看 成 一 个 云 计 算 服 务 的 操作 系 
统 ; SQL Azure 是 云 中 的 数据 库 ; AppFabric 是 一 个 基于 Web 的 开发 服务 ， 它 可 以 把 现 
有 应 用 和 服务 与 云 平台 的 连接 和 互 操作 变 得 更 为 简单 。AppFabric 让 开发 人 员 可 以 把 精 
力 放 在 应 用 逻辑 上 而 不 是 在 部 署 和 管理 云 服务 的 基础 架构 上 。 

1) Windows Azure。Windows Azure 是 一 个 云 服务 的 操作 系统 ， 它 提供 了 一 个 可 扩 
展 的 开发 环境 、 托 管 服务 环境 和 服务 管理 环境 ， 这 其 中 包括 提供 基于 虚拟 机 的 计算 服务 
和 基于 Blobs 、Tables ( 表 存 储 ) 、Queues (队列 存储 ) 、Drives 等 的 存储 服务 。Windows 
Azure 为 开发 者 提供 了 托管 的 、 可 扩展 的 、 按 需 应 用 的 计算 和 存储 资源 ， 还 为 开发 者 提 
供 了 云 平 台 管理 和 动态 分 配 资源 的 控制 手段 。Windows Azure 是 一 个 开放 的 平台 ,支持 
微软 和 非 微 软 的 语言 和 环境 。 开 发 人 员 在 构建 Windows Azure 应 用 程序 和 服务 时 ， 不 仅 
可 以 使 用 熟悉 的 Microsoft Visual Studio、Eclipse 等 开发 工具 ， 同 时 Windows Azure 还 支 
持 各 种 流行 的 标准 与 协议 ， 包括 SOAP、REST、XML (Extensible Markup Language， 可 
扩展 标记 语言 ) 和 HTTPS 等 。 

Windows Azure 主要 包括 三 个 部 分 ， 一 是 运营 应 用 的 计算 服务 ; 二 是 数据 存储 服务 ; 
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三 是 基于 云 平台 进行 管理 和 动态 分 配 资 源 的 控制 颖 (Fabric Controller) 。 

(D 计算 服务 。 计 算 服 务 能 够 运行 多 种 不 同 的 应 用 ， 并 支持 大 量 并 发 用 户 的 应 用 。 
Windows Azure 提供 计算 服务 的 方式 是 根据 需要 把 计算 任务 同时 分 配 到 多 台 虚 拟 服务 器 
上 。Windows Azure 虚拟 机 运行 64 位 的 Windows Server 2008 ， 由 Hyper-V 产品 进行 云 中 
改造 而 来 。 开 发 者 只 要 通过 浏览 器 接 人 Windows Azure 门户 ,用 Windows Live ID 进行 注 
册 登 录 ， 就 可 以 开始 使 用 平台 提供 的 服务 。 

@) 存储 服务 。Windows Azure 存储 不 是 一 个 关系 型 数据 系统 ， 并 且 它 的 查询 语言 也 
不 是 SQL (Structured Query Language， 结 构 化 查询 语言 )， 主 要 被 设计 用 来 支持 建 于 
Windows Azure 上 的 应 用 ， 它 提供 了 更 简单 容易 扩展 的 存储 。 

存储 服务 应 用 可 以 通过 很 多 不 同方 式 来 运用 数据 ，Windows Azure Storage (微软 云 
存储 ) 服务 提供 了 多 种 选择 ， 包 括 Blobs 、Tables 、Queues 和 Drives。Blobs 非常 便于 存 
储 二 进 制 数据 ， 比 如 JPEG 图 片 或 MP3 文档 等 多 媒体 数据 ; Tables 是 可 扩展 存储 ， 通 过 
多 个 虚拟 机 对 分 布 式 数据 进行 扩展 和 收缩 ， 这 比 使 用 一 个 标准 的 关系 型 数据 库 更 为 有 
效 ; Queues 的 主要 功能 是 提供 一 种 Web Role Instance 和 Worker Role Instance 沟通 的 方 
式 ; Drives 的 主要 作用 是 为 Windows Azure 应 用 程序 提供 一 个 NTFS 文件 卷 ， 这 样 应 用 
程序 可 以 通过 NTFS (New Technology File System ，Windows NT 环境 的 文件 系统 ) API 来 
访问 存储 的 数据 。 无 论 数 据 以 Blobs 、Tables 、Queues 或 Drives 任何 方式 存储 ，Windows 
Azure Storage 都 会 将 所 有 数据 复制 三 次 ， 任 何 一 个 拷贝 的 丢失 都 不 是 致命 的 ， 任 何 一 个 
应 用 都 能 够 保证 立即 准确 读 取 原 始 数据 信息 。 

2) Windows Azure Platform AppFabric。AppFabric 为 本 地 应 用 和 云 中 应 用 提供 了 分 
布 式 的 基础 架构 服务 。 在 云 计 算 中 存储 数据 与 运行 应 用 都 很 重要 ， 但 是 我 们 还 需要 一 个 
基于 云 的 基础 架构 服务 。 这 个 基础 架构 服务 应 该 既 可 以 被 客户 自 有 软件 应 用 ， 又 可 以 被 
云 服务 应 用 。AppFabric 能 够 使 客户 自 有 应 用 与 云 应 用 之 间 进 行 安 全 连接 和 信息 传递 。 
AppFabric 目前 主要 提供 互联 网 服务 总 线 (Service Bus) 和 访问 控制 ( Access Control) 
服务 。 

3) SQL Azure。SQL Azure 是 一 个 云 的 关系 型 数据 库 ， 可 以 在 任何 时 间 提 供 客 户 数 
据 应 用 。SQL Azure 基于 SQL Server 技术 构建 ， 由 微软 基于 云 进行 托管 ， 提 供 的 是 可 扩 
展 、 多 租户 、 高 可 用 性 的 数据 库 服 务 。SQL Azure 为 用 户 提 供 了 内 置 的 高 可 用 性 和 容错 
能 力 ， 且 无 需 客户 进行 实际 管理 。SQL Azure Database 支持 TDS (Tag Data Standard ， 标 
签 数据 标准 ) 和 Transact-SQL (SQL 在 Microsoft SQL Server 上 的 增强 版 ，T-SQL) ， 客 户 
可 以 使 用 现 有 技术 在 T-SQL 上 进行 开发 ， 还 可 以 使 用 与 现 有 的 客户 自 有 数据 库 软 件 相 
对 应 的 关系 型 数据 模型 。SQL Azure Database 提供 的 是 一 个 基于 云 的 数据 库 管 理 系统 ， 
它 能 够 整合 现 有 工具 集 ， 并 提供 与 客户 自 有 软件 的 对 应 性 。 

(3) 动态 云 解 决 方案 ”动态 云 解决 方案 是 微软 提供 的 基于 动态 数据 中 心 技 术 的 云 
计算 优化 和 管理 方案 。 企 业 可 以 基于 该 方案 快速 构建 面向 内 部 使 用 的 私有 云 平台 ,服务 
提供 商 也 可 以 基于 该 方案 在 短 时 间 内 搭建 云 计算 服务 平台 对 外 提供 服务 。 微 软 动态 云 能 
够 让 用 户 上 自己 动态 管理 数据 中 心 的 基础 设施 (包括 服务 器、 网 络 和 存储 等 )， 包括 开 
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通 、 配 置 和 安装 等 。 其 核心 价值 在 于 ， 它 可 以 帮助 用 户 提 高 开 基础 设施 资源 的 利用 效 
率 ， 提升 基 础 设施 的 应 用 和 管理 水 平 ， 实 现 计算 资源 的 动态 优化 。 

微软 动态 云 解 决 方案 能 够 帮助 企业 创建 虚拟 环境 来 运行 应 用 ， 用户 可 以 按照 需要 弹 
性 分 配 适 当 的 应 用 配置 ， 并且 支 持 动 态 扩 展 。 具 体 功 能 特点 包括 部 署 、24h x7 监控 、 
优化 、 保 护 和 灵活 适 配 五 个 方面 。 其 中 ， 部 署 功 能 包括 部 署 服务 器 、 网 络 和 存储 服务 等 
资源 ; 灵活 的 自我 管理 。24h x7 监控 功能 包括 收集 运行 情况 数据 来 更 好 地 满足 SLA 
(Service Level Agreement, 服务 等 级 协议 ) 需要 ， 监 控 资 源 利用 情况 ， 客户 自我 监控 。 
优化 功能 包括 持续 监控 和 在 不 影响 或 少 影响 应 用 运行 的 情况 下 主动 根据 运行 需要 来 调整 
和 迁移 服务 器 ; 根据 需要 分 配 “ 合 适 ”的 资源 ， 不 超 配 和 低 配 。 保 护 功能 包括 防 病毒 、 
垃圾 访问 过 滤 和 防火 墙 等 ; 应 用 和 数据 备份 ; 保证 99. 9% 正常 运行 时 间 和 基础 设施 的 
物理 安全 。 灵 活 适 配 功能 包括 容易 调整 环境 、 部 署 新 资源 ; 存储 、 带 宽 等 根据 需要 可 以 
动态 调整 ;支持 不 同 虚拟 技术 ， 并 可 以 管理 不 同类 型 的 虚拟 机 。 

















1.3.2 国内 云 计 算 应 用 


1.3.2.1 腾讯 云 计 算 服 务 

腾讯 做 云 计算 不 是 人 云 亦 云 ， 也 不 是 孤立 地 看 待 云 计算 本 身 的 商业 价值 ， 而 是 腾讯 
开放 共享 战略 的 一 个 重要 组 成 部 分 。 

早年 的 QQ 空间 用 户 可 能 经 历 过 这 样 的 体验 : 进入 QQ 空间 后 ， 界 面 上 有 一 个 小 地 
球 在 不 停 地 跳动 ， 有 时 候 在 这 个 界面 上 需要 等 几 个 小 时 才能 进入 个 人 空间 。 这 是 早期 
QQ 空间 应 对 海量 访问 考验 时 为 了 避免 雪 骨 而 采取 的 策略 ， 将 用 户 引导 到 一 个 等 待 
界面 。 

今天 互联 网 用 户 对 产品 的 要 求 比 那 时 高 得 多 ， 很 难 想象 他 们 再 像 当 年 那样 对 一 个 优 
秀 的 应 用 如 此 包容 和 谅解 。 而 应 对 海量 访问 的 能 力 ， 绝 不 是 一 朝 一 夕 能 够 形成 的 ，QQ 
空间 今天 可 以 轻松 地 支撑 起 千 万 级 的 同时 在 线 用 户 ， 是 长 时 间 技 术 积累 的 结果 。 

腾讯 打造 云 计算 平台 ， 就 是 要 把 腾讯 多 年 积累 下 来 的 海量 访问 技术 和 运营 能 力 ， 和 
所 有 互联 网 行业 的 创业 者 分 享 ， 让 他 们 少 走 弯路 ， 更 容易 创业 成 功 。 这 种 能 力 包 括 了 : 
海量 运 维 、 海 量 计算 、 海 量 存储 、 海 量 数据 分 析 、 云 安全 、 支 付 营 销 以 及 客服 等 各 种 能 
力 。 在 分 享 的 同时 ， 腾 讯 不 希望 把 开发 者 捆绑 在 自己 的 云 平台 上 ， 而 是 希望 能 够 用 一 种 
非常 快捷 、 简 单 的 方式 ， 把 这 些 能 力 分 享 给 各 种 各 样 架 构 、 开 发 语言 和 应 用 场景 的 互联 
网 应 用 ， 能 够 去 适应 业界 主流 的 开发 模式 ， 让 大 多 数 开发 者 可 以 在 已 经 开发 好 的 应 用 基 
础 之 上 ， 不 经 过 大 的 改动 ， 就 可 以 接 入 到 腾讯 的 云 计 算 平 台 。 

从 产品 的 角度 出 发 ， 腾 讯 云 计算 平台 针对 广大 开发 者 推出 了 以 下 产品 : 

1. 云 存 储 

每 款 应 用 都 有 其 生命 周期 ， 而 社交 游戏 的 生命 周期 相对 较 短 ， 往 往 数 周 之 内 迅速 达 
到 用 户 峰 值 ， 接 着 步 和 人 稳定 期 和 衰减 期 。 在 此 期 间 ， 开 发 者 往往 疲于奔命 ， 需 要 在 访问 
量 不 断 增加 时 进行 持续 的 数据 层 重 构 ， 需 要 频繁 地 进行 机 器 扩容 和 数据 迁移 ， 在 后 期 又 
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要 进行 数据 合并 和 资源 退出 。 

腾讯 根据 数据 层 研发 过 程 中 的 实际 经 验 ， 以 及 应 用 从 小 到 大 的 发 展 过 程 中 遇 到 的 各 
类 技术 问题 ， 推 出 了 自助 化 和 运 维 透明 化 的 海量 存储 服务 。 腾 讯 相继 推出 了 基于 Key/ 
Value (分 布 式 存储 ) 的 全 内 存 持久 化 存储 方案 ( Cloud Memcache，CMEM ) 和 兼容 
MySQL (关系 型 数据 库 管 理 系 统 ) 的 存储 方案 CDB (Cloud Database) ， 以 帮助 接 入 腾讯 
社区 开放 平台 的 第 三 方 应 用 应 对 同时 在 线 用 户 数 在 短 时 间 内 迅猛 增加 时 面临 的 访问 
压力 。 

CMEM 和 CDB 针对 不 同 的 服务 场景 ， 开 发 者 可 以 根据 成 本 和 性 能 来 选择 不 同 的 实 
例 。 使 用 CMEM 和 CDB， 开 发 者 无 需 关 注 数据 层 具 体 实现 ， 通 过 云 存储 解决 数据 层 性 
能 、 容 量 、 安 全 及 可 用 性 问题 ， 而 将 更 多 的 精力 聚焦 于 应 用 本 身 的 逻辑 开发 和 产品 
运营 。 

2. 虚拟 设备 

腾讯 推出 了 基于 虚拟 机 的 设备 管理 方案 ， 除 了 适应 开发 者 的 各 种 架构 需求 外 ， 也 提 
供 了 针对 应 用 或 流量 的 监控 、 扩 容 、 缩 容 功 能 ， 并 提供 多 种 方式 保护 用 户 计算 资源 的 安 
全 ,包括 防 DDOS (Distributed Denial of Service， 分 布 式 拒绝 服务 ) 攻击 、 访 问 控 制 、 
业务 隔离 等 。 

目前 的 虚拟 机 方案 是 基于 Xen (开放 源 代码 虚拟 机 监视 器 ) 技术 ， 其 管理 简单 、 接 
入 便捷 。 该 方案 以 多 种 不 同 配置 类 型 的 虚拟 机 为 服务 单元 ， 用 户 在 Web 页 面 上 即 可 进 
行 计算 资源 的 申请 、 使 用 和 退还 。 

即将 推出 的 基于 Linux Container (内 核 虚 拟 化 技术 ， LXC) 的 虚拟 机 方案 ， 将 提供 
性 能 更 高 、 安 全 性 更 好 的 服务 ， 并 使 资源 管理 更 加 精细 化 。 

3. 应 用 安全 

一 个 成 功 的 互联 网 应 用 在 安全 方面 会 面临 很 多 挑战 。 如 果 不 加 以 人 保护， 外挂、 恶意 
言 县 等 很 快 会 纷 至 霄 来 。 

腾讯 基于 自身 多 年 运营 社交 网 站 (Social network site，SNS) 应 用 的 经 验 ， 为 开发 
者 提供 的 数据 安全 和 实时 数据 分 析 服 务 ， 可 解决 大 部 分 开发 者 在 安全 方面 意识 淡薄 或 经 
验 不 足 的 短 板 ， 对 保护 用 户 安全 ， 提 升 用 户 体验 非常 重要 。 

腾讯 云 计算 平台 目前 为 开发 者 提供 的 安全 服务 包括 : 

1) 运 维 安全 。 腾 讯 建立 了 完备 的 应 用 安全 评 佑 体系 ， 对 第 三 方 应 用 进行 安全 评 
级 ， 并 提供 网 络 攻击 防护 、 防 止 人 侵 、 挂 马 检测 、 漏 洞 扫 描 等 服务 。 

2) 业务 安全 。 腾 讯 提 供 OpenAPI (开放 接口 ) 给 开发 者 调用 ， 根据 应 用 上 报 的 数 
据 进 行 实时 分 析 ， 开 发 者 可 获取 外 挂 用 户 信息 并 针对 用 户 账号 以 及 IP 实施 精准 的 限制 
策略 。 

3) 信息 安全 。 腾 讯 提 供 OpenAPI 给 开发 者 调用 ， 以 实现 垃圾 消息 过 滤 ， 评 论 频 率 
控制 ， 以 及 验证 码 下 发 等 功能 。 

4. 运营 数据 分 析 

腾讯 产品 拥有 6 亿 注 册 用 户 和 强大 的 用 户 茜 性 ， 这 些 都 依托 于 公司 多 年 积累 下 来 的 
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海量 数据 收集 和 处 理 分 析 能 力 ， 以 及 海量 运营 方法 。 这 些 能 力 和 方法 ， 将 会 逐渐 开放 给 
第 三 方 开发 者 。 

目前 开发 者 已 经 可 以 看 到 应 用 的 一 些 简 单 的 运营 分 析 数 据 ， 开 发 者 可 以 进行 初步 的 
产品 挖掘 ， 为 产品 优化 提供 决策 和 支持 。 

未 来 ， 腾 讯 将 提供 一 些 成 熟 的 运营 分 析 模式 ， 例 如 传播 模型 、 用 户 画 像 、 漏 斗 模 
型 、 营 销 模 型 等 。 这 些 工具 可 以 让 开发 者 可 以 深度 挖掘 产品 ， 持 续 优 化 产品 特性 ， 提 升 
用 户 体验 ， 并 通过 快速 、 高 效 的 分 析 研 究 如 何 推 广 应 用 、 存 留用 户 和 提升 利润 ， 使 应 用 
更 好 更 快 地 发 展 。 

5. 自动 化 运 维 

腾讯 为 开发 者 提供 的 自助 化 运 维 平台 ， 可 以 让 开发 者 自主 维护 自己 的 应 用 ， 实 施 各 
种 资源 申请 ， 应 用 上 线 、 发 布 、 版 本 升级 、 故 障 处 理 、 回 滚 、 扩 容 、 缩 容 等 。 这 些 流程 
的 自动 化 可 以 极 大 地 减轻 开发 者 的 运 维 负担 。 

6. 支付 营销 体系 

腾讯 成 熟 的 用 户 账户 体系 ， 以 及 依据 这 个 体系 建立 的 支付 营销 体系 ， 为 产品 的 在 线 
营销 提供 强 有 力 的 支持 。 

已 经 开放 的 腾讯 支付 体系 让 开发 者 可 以 用 Q 币 兑换 应 用 中 的 虚拟 货币 。 同 时 腾讯 
也 在 推动 一 种 让 开发 者 可 以 在 应 用 中 直接 使 用 Q 币 的 方式 。 

后 续 ， 活 动 营 销 将 被 打包 成 服务 ， 让 开发 者 可 以 快捷 地 进行 各 种 活动 推广 。 

7. 客服 系统 

腾讯 向 第 三 方 应 用 开发 者 传递 “一 切 以 用 户 为 依 归 ”的 理念 。 让 这 个 理念 得 以 实 
施 的 ， 以 及 让 几 亿 注册 用 户 获取 优质 服务 的 ， 是 腾讯 完备 的 客服 系统 。 开 发 者 接 人 这 个 
客服 系统 后 ， 不 仅 可 以 使 用 完备 的 系统 工具 ， 也 可 以 复 用 腾讯 积累 的 优秀 实践 、 方 法 
论 、 标 准 和 规范 ， 从 而 在 提高 服务 质量 、 吸 取 用 户 反 馈 、 优 化 产品 、 加 强 用 户 黏 性 上 做 
出 进一步 的 努力 。 

1.3.2.2 阿里 云 计算 服务 

阿里 云 ， 阿 里 巴巴 集团 旗下 云 计算 品牌 ， 全 球 领 先 的 云 计 算 技 术 和 服务 提供 商 ， 创 
立 于 2009 年 ， 致 力 于 成 为 “DT 时 代 中 国 商业 发 展 的 基础 设施 ” ， 成 为 阿里 巴巴 集团 未 
来 10 年 “ 云 + 端 ”的 重要 战略 。 

如 图 1-2 所 示 ， 在 最 近 10 年 ， 中 美 两 国 的 三 家 超级 云 服务 商 (亚马逊 、 谷 歌 、 阿 
里 云 ) 持续 推动 全 球 云 计算 市 场 和 技术 的 不 断 发 展 。2006 年 ， 谷 歌 、 亚 马 逊 推出 的 云 
服务 标志 着 “美国 云 计 算 元 年 "。2009 年 阿里 云 成 立 ， 并 面向 商用 市 场 改 造 淘宝 分 布 式 
集群 技术 ， 则 标志 着 “中 国 云 计 算 元 年 ”的 到 来 。 阿 里 云 持续 多 年 投入 大 量 研发 资源 ， 
是 世界 上 第 一 个 对 外 提供 5K 云 计算 服务 能 力 的 公司 ， 由 5000 台 服 务 器 组 成 的 飞天 5K 
服务 器 集群 ， 拥 有 超过 10 万 核 计 算 能 力 、100PB 存储 空间 ， 可 处 理 15 万 并 发 任务 数 ， 
承载 亿 级 别 文 件数 目 。100TB 排序 能 在 30min 完成 ， 超 过 了 当时 Yahoo 在 Sort Bench- 
mark (排序 基准 评 佑 机构) 排序 测试 Daytona Gray Sort 所 创造 的 世界 纪录 

阿里 云 全 球 数据 中 心 遍及 北京 、 杭 州 、 青 岛 、 深 圳 、 香 港 、 美 国 硅 谷 、 内 蒙 ( 筹 
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图 1-2 中 美 三 大 云 服 务 商 发 展 历 程 

注 : Google: 谷歌 公司 ; GFS: 可 扩展 的 分 布 式 文件 系统 ， 用 于 大 型 的 、 分 布 式 的 、 对 大 量 数据 进行 访问 
的 应 用 ; MapReduce: 一 种 编程 模型 ， 用 于 大 规模 数据 集 ( 大 于 1TB) 的 并 行 运算 ; BigTable: Google 设计 的 分 
布 式 数据 存储 系统 ， 用 来 处 理 海量 的 数据 的 一 种 非 关 系 型 的 数据 库 ; Amazon: 亚马逊 公司 ; S3: 一 个 公开 的 服 
务 ，Web 应 用 程序 开发 人 员 可 以 使 用 它 存储 数字 资产 ， 包 括 图 片 、 视 频 、 音 乐 和 文档 ; EC2: 亚马逊 弹性 计算 
云 (EC2 ，Elastic Compute Cloud) 是 一 个 让 使 用 者 可 以 租用 云端 电脑 运行 所 需 应 用 的 系统 ;TFS: Taobao File- 
Syste， 是 一 个 高 可 扩展 、 高 可 用 、 高 性 能 、 面 向 互联 网 服务 的 分 布 式 文件 系统 ; TDDL: Taobao Distributed Data 
Layer， 淘 宝 分 布 式 数据 库 层 ， 主 要 解决 了 分 库 分 表 对 应 用 的 透明 化 以 及 异 构 数据 库 之 间 的 数据 复制 ，Google 
App Engine: 是 一 种 让 您 可 以 在 Google 的 基础 架构 上 运行 您 的 网 络 应 用 程序 ，Azure: 微软 的 专业 的 国际 化 公有 
云 平台 ; OceanBase: 一 个 支持 海量 数据 的 高 性 能 分 布 式 数据 库 系 统 ，FaceBook: 脸 书 公司 ; Yun0S: 阿里 巴巴 
集团 旗下 的 一 款 智能 设备 操作 系统 产品 ; BAT: 百度 、 阿 里 巴巴 和 腾讯 三 家 公司 简称 ; ODPS: Open Data Pro- 

cessing Service， 由 阿里 云 自主 研发 ， 提 供 针对 TB/PB 级 数据 、 实 时 性 要 求 不 高 的 分 布 式 处 理 能 力 ， 应 用 于 数据 
分 析 、 挖 掘 、 商 业 智能 等 领域 ，AWS: Amazon Web Services ， 亚 马 逊 公司 提供 的 云 服 务 ; IBM: 国际 商业 机 器 
公司 。 
欧洲 (筹建 中 )、 西 亚 (筹建 中 )、 新 加 坡 (筹建 中 ) 等 地 ， 针 对 不 同行 业 的 
部， 阿里 云 提供 了 政务 云 、 游 戏 云 、 金 融 云 、 电 商 云 、 移 动 云 、 医 疗 云 、 交 通 云 等 行 
 ， 。 根 据 IDC 调研 报告 ， 阿 里 云 是 国内 最 大 的 公有 云 计算 服务 提供 商 ，2014 
年 服务 客户 数 超过 140 万 ， 目 前 每 天 注册 成 为 阿里 云 会 员 企业 达 到 4000 多 家 ， 高 速 增 
长 的 客户 群体 遍布 互联 网 、 移 动 App、 音 视频 、 游 戏 、 电 商 等 各 个 领域 。 

其 中 ， 阿 里 金融 云 是 为 金融 行业 量 身 定 制 的 云 计算 服务 ， 具 备 低 成 本 、 高 弹性 、 高 
可 用 、 安 全 合 规 的 特性 ， 帮 助 金融 客户 实现 传统 开 向 云 计 算 的 转型 ， 并 为 客户 实现 与 
支付 宝 、 淘 宝 、 天 猫 的 直接 对 接 ， 助 力 金融 客户 业务 创新 ， 提 升 竞争 力 。 阿 里 金融 云 数 
据 中 心 位 于 杭州 、 青 岛 、 深 圳 (筹建 中 ) ， 属 于 完全 独立 的 合 规 集群 (经 过 监管 部 门 的 
合 规 检查 ) ， 也 是 目前 业界 独 有 的 为 金融 行业 创建 的 专属 云 。 天 然 的 两 地 三 中 心 架构 ， 
具备 IOS (International Organization for Standardization ， 国 际 标准 化 组 织 ) 27001 、CSA 
Star、( 云 安全 国际 认证 金牌 ) 等 保 三 级 、 可 信 云 等 安全 认证 。 阿 里 云 全 部 都 是 自主 开 
发 ， 拥 有 云 操 作 系 统 、 弹 性 计算 服务 (Elastic Compute Service，ECS) 、 关 系 型 数据 库 服 
务 (Relation Database Service，RDS) 、 开 放 存 储 服务 (Open Source，Software，0OSS)、 


负载 均衡 ( Server Load Balancing，SLB ) 、 开 放 数 据 处 理 服 务 (Open Data Processing 
19 
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Service，ODPS) 等 数 十 项 云 技术 专利 。 目 前 ， 阿 里 云 拥有 数 十 万 台 服 务 器 ， 阿 里 金融 
云 拥有 数 万 台 服 务 器 ， 还 在 按 需 逐 渐 扩 展 。 





图 1-3 展示 了 阿里 金融 云 总 体 架构 ， 通 过 飞天 操作 系统 ， 阿 里 金融 云 能 把 多 达 数 十 
万 的 大 规模 计算 机 集群 资源 有 机 连接 起 来 协同 工作 ， 对 外 形成 一 台 通 用 功能 的 巨型 计算 
机 ， 在 此 之 上 ， 对 外 提供 了 包括 弹性 计算 服务 (ECS) 、 负 载 均 衡 服 务 (SLB) 、 关 系数 
据 库 服务 (RDS) 、 开 放 存 储 服 务 (0SS) 、 内 容 分 发 网 络 ( Content Delivery Network ， 
CDN) 和 具有 6h 处 理 100PB 级 别 数据 能 力 的 开放 数据 处 理 服务 ( Open Date Processing 
Service，ODPS ) 。 


银行 、 基 金 、 保 险 、 证 券 、 期 货 、 小 贷 金融 行业 合作 伙伴 


金融 能 力 开 放 金融 增值 服务 


口 6. IPsec VPN 有 EE: 
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云 计算 服务 
大 规模 分 布 式 云 操作 系统 (飞天 ) 
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A 安全 管理 ( 钟 赠 ) 网 络 通信 ( 夺 父 ) pe ‖ 和 神 安 ) 


金融 云 专属 集群 





图 1-3 阿里 金融 云 总 体 架 构 
注 : SSH VPN: 采用 SSH (Secure Shell， 安 全 层 ) 协议 来 实现 远程 接 入 的 一 种 VPN (虚拟 专用 网 络 ) 
技术 ; IPsec VPN: 采用 IPSec (因特网 协议 安全 性 ) 协议 来 实现 远程 接 入 的 一 种 VPN (虚拟 专用 网 络 ) 
技术 ; ECS: 弹性 计算 服务 ; 0SS: 开放 存储 服务 ; OTS: 开放 结构 化 数据 服务 ; ODPS: 开放 数据 处 理 服 
务 ; HDS: 关系 型 数据 库 服务 。 

















阿里 金融 云 为 广大 金融 企业 设计 了 “系统 上 云 ”、“ 数 据 融通 ”、“ 人 金融 生态 ”三 步 
走 策略 ， 先 “金融 上 云 "， 再“ 云 上 金融 ”的 云 计算 实施 路 线 ( 见 图 14)。 当 金融 企 
业 将 自己 的 业务 应 用 部 署 在 阿里 金融 云 之 上 时 ,该 企业 作为 阿里 巴巴 生态 圈 的 重要 客 
户 ， 即 获得 在 业务 层面 与 金融 信息 服务 平台 对 接 ， 并 利用 大 数据 提升 金融 业务 水 平 的 领 
先 能 力 ， 标 志 着 与 阿里 巴巴 全 面 合作 共 建 金融 生态 圈 的 产业 序幕 已 经 拉 开 。 

目前 金融 企业 客户 通过 阿里 金融 云 能 够 快速 对 接 如 下 业务 资源 : 

1) 芝麻 信用 。 

2) 大 数据 实验 室 。 

3) 支付 宝 服务 窗 〈 履 盖 8 亿 实名 客户 、4 亿 活跃 用 户 ) 。 

4) 招 财宝 。 

5) 微 贷 平 台 。 

全 球 开 市 场 中 ， 政 企 市 场 客户 约 占 70% ， 与 中 小 企业 大 量 使 用 公有 云 、 行 业 云 不 
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2014 一 2016 一 2018 一 2020 一 时 间 ( 大 致 ) 
图 1-4 上 云 路 线 
同 ， 政 企 客户 希望 采用 互联 网 行业 “ 云 计 算 + 大 数据 ”的 Scale-Out ( 模 向 扩展 ) 架构 
重 构 基 于 传统 IOE (IBM、Oracle，EMC) 的 Scale- Up 架构， 实现 全 架构 水 平 扩展 、 按 
需 获得 IT 资源 ， 同 时 满足 行业 安全 合 规 和 自主 可 控 技 术 要 求 ， 这 需要 在 客户 机 房 独立 
建设 一 套 “ 云 计算 + 大 数据 ”的 基础 平台 ,满足 客户 “ 云 计算 平台 + 专 有 使 用 ”的 独 


占 要 求 。 阿 里 专 有 云 利 用 客户 自 建 的 
机 房 ， 将 阿里 云 专 有 云 产 品 通过 软件 
方式 部 署 在 客户 机 房 内 的 通用 X86 服 全 
务 右 上 ， 为 客户 应 用 系统 赋予 领先 成 
熟 的 云 计算 、 大 数据 服务 能 力 。 阿 里 


云 服务 分 类 如 图 1-5 所 示 。 友 1-5 阿里 云 服务 分 类 

如 图 1-6 所 示 ， 阿 里 云 专 有 云 位 于 客户 IT 基础 设施 硬件 层 之 上 ， 将 物理 服务 器 的 
计算 和 存储 能 力 、 网 络 设备 虚拟 化 成 虚拟 计算 、 分 布 式 存 储 、 软 件 定义 网 络 ， 在 此 基础 
上 提供 云 数 据 库 、 大 数据 处 理 、 分 布 式 中 间 件 服务 ， 并 和 客户 现 有 账号 体系 、 运 维系 统 


对 接 融 合 。 


十 5 


口 客户 
国 阿里 云 
































1-6 阿里 云 专 有 云 部 署 


在 表 1-2 中 ,“ 公 有 云 ” 的 特点 是 通过 共享 资源 来 实现 最 优 性 价 比 ， 而 “ 专 有 云 ” 

是 通过 承担 更 多 基础 设施 投资 、 运 营 工 作 来 换取 独立 性 与 控制 力 ， 责任 、 控 制 权 与 收益 
是 相 匹 配 的 ， 企 业 客 户 针 对 自身 行业 业务 具体 情况 选择 对 自己 最 有 利 的 云 采 购 / 运 营 模 
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式 ， 是 一 种 预 判 未 来 的 战略 决策 。 
表 1-2 阿里 云 的 “ 专 有 云 ” 和 “公有 云 ” 对 比 























对 比 专 有 去 公有 云 

购买 方式 软件 License 或 者 服务 服务 

硬件 投资 客户 投资 阿里 云 投资 

运 维 模式 客户 或 者 ISV 运 维 阿里 云 运 维 
安全 隔离 方式 物理 隔离 逻辑 隔离 或 物理 隔离 

















如 图 1-7 所 示 ， 阿 里 云 专 有 云 系统 架构 充分 考虑 了 分 布 式 系统 的 高 可 用 性 、 开 放 
性 、 健 壮 性 和 可 扩展 性 。 主 备 架 构 的 “ 云 中 控 系 统 ” 由 阿里 云 账号 、 权 限 、 云 基础 服 
务 (全 局 位 置信 息 等 )、 控 制 台 入 口 、 计 费 计量 等 关键 调度 模块 组 成 ; 企业 客户 根据 业 
务 分布 的 不 同 地 域 建设 不 同 的 Region 区 域 ， 每 个 Region 至 少 部 署 两 个 可 用 区 ( Availa- 
ble Zone，AZ) ， 实 现 同城 双 活 或 者 灾 备 ;“ 飞 天 ”是 阿里 云 的 分 布 式 操作 系统 ， 负 责 将 
标注 的 X86 物理 服务 央 连 接 成 一 个 超级 计算 机 ， 为 上 层 所 有 云 服务 提供 基础 文 撑 ， 有 具 
有 大 规模 平滑 扩展 、 高 可 用 性 的 设计 特点 。 
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图 1-7 阿里 云 专 有 云 系统 架构 


阿里 云 拥有 百 万 以 上 客户 ， 金 融 云 拥有 2000 多 家 客户 ， 其 中 银行 、 保 险 、 证 券 客 
户 200 多 家 ; P2P (Peer To Peer， 点 对 点 网 络 借 款 ) 、 小 贷 、 众 筹 、 资 管 公 司 等 微 金 融 
客户 1000 多 家 。 在 上 云 客 户 中 ， 日 交易 量 超过 5000 万 的 包括 天 弘 基 金 (余额 宝 ， 全 系 
统 上 云 ) 、 众 安保 险 (全 系统 上 云 ); 银行 包括 阿里 网 商 银行 ;保险 包括 阳光 保险 、 永 
安保 险 、 华 夏 人 寿 等 ; 证券 包括 海通 证 券 、 银 河 证 券 、 宏 源 证 券 等 。 专 有 云 包 括 云 上 贵 
州 、 海 关 、 海 淀 政 务 云 、 证 通 等 。 

1.3.2.3 青云 云 计算 服务 

青云 (QingCloud) 成 立 于 2012 年 4 月 ， 是 全 球 首 家 实现 资源 秒 级 响应 并 按 秒 计 费 
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的 基础 云 服 务 商 ， 致 力 于 为 企业 用 户 提 供 安全 可 靠 、 性 能 和 卓越 、 按 需 、 实 时 的 开 资源 
交付 平台 。 其 服务 涵盖 了 计算 、 存 储 、 网 络 、 安 全 等 T 基础 设施 层 所 需 的 各 个 组 件 以 
及 数据 库 、 缓 存 等 Half PaaS (通用 型 Paas) 层 服务 。QingCloud 采用 分 布 式 块 存 储 系统 
确保 高 性 能 IO， 部 署 实时 异地 副本 保障 数据 安全 ， 通 过 云端 SDN ( Software Defined 
Network ， 软 件 定义 网 络 ) 实现 灵活 易 用 的 专 享 私有 云 服 务 ( Virtual Private Cloud ， 
VPC) ， 提 供 块 设备 级 的 备份 与 恢复 ， 设 计 实 时 P2P 机 器 人 社区 协作 确保 故障 无 害 ， 基 
于 自主 研发 的 Iaas 平台 提供 原生 通用 Paas ， 并 无 限制 开放 全 部 功能 API。 

自 2013 年 7 月 正式 开通 以 来 ，QingCloud 公有 云 平 台 性 能 多 次 全 面 升级 ， 真 正 实现 
IaaS 层 的 稳定 、 可 靠 、 安全、 高 性 能 、 实 时 、 弹 性 和 开放 ， 并 在 此 基础 上 快速 开发 和 推 
出 基于 QingCloudIaaS 层 的 Technical PaaS。 除 公有 云 (Public Cloud) 业务 外 ，QingCloud 
还 提供 受 管 云 (Managed Cloud) 服务 ， 帮 助 大 型 企业 用 户 构建 和 管理 私有 云 平 台 ， 并 
支持 数据 中 心 运营 商 向 云 计算 转型 。 目 前 已 经 部 署 和 运营 了 4 个 受 管 云 的 区 域 。 未 来 
QingCloud 还 将 提供 包括 数据 中 心 基 础 设施 、 传 输 网 络 、 超 融合 设备 和 云 固件 在 内 的 全 
套 云 计算 解决 方案 以 满足 不 同类 型 企业 用 户 的 需求 。 秉 持 开 放 的 心态 ，QingCloud 联合 
产业 链 上 众多 优秀 的 Paas 、SaasS 与 DevOps (开发 运 维 一 体 化 ) 服务 ， 整 合 与 构建 完整 
的 云 计算 生态 ， 为 未 来 的 科技 创新 提供 稳定 、 可 靠 、 安 全 、 高 性 能 、 弹 性 、 丰 富 的 IT 
资源 与 开发 工具 与 服务 。 

1. 公有 云 服 务 

自 2013 年 7 月 正式 开通 以 来 ，QingCloud 已 经 为 逾 万 家 企业 用 户 提供 服务 ， 帮 助 企 
业 用 户 有 效 提 升 系统 效能 ， 大 幅 降低 IT 成 本 与 运 维 投入 ; 帮助 初创 团队 轻 资 产 创业 ， 
真正 做 到 IT 资源 平民 化 和 像 用 水 用 电 一 样 方便 。 

QingCloud 始终 以 满足 苛刻 的 企业 级 开 需求 为 目标 ， 其 客户 群 既 包括 来 自 于 视频 、 
游戏 、 电 商 、 社 交 、 大 数据 、 物 联网 、 移 动 App (Application ， 应 用 程序 ) 等 互联 网 和 
移动 互联 网 领域 的 企业 ， 也 包括 政府 、 金 融 、 教 育 、 制 造 业 、 建 筑 业 等 传统 行业 的 
客户 。 

2. 私有 云 服 务 

QingCloud 私有 云 系统 是 一 套 纯 自 主 研发， 面向 新 一 代 云 数据 中 心 架 构 ， 软 件 定义 
的 开 资源 交付 与 管理 平台 。 它 面向 严肃 企业 ， 提 供 稳定 可 靠 、 集 成 统一 、 弹 性 伸缩 、 
智能 高 效 并 自主 可 控 的 云 基础 架构 及 服务 。QingCloud 私有 云 系统 构建 及 管理 充分 体现 
下 述 原则 : 

1) 搭建 统一 的 基础 架构 云 计 算 平台 ,将 这 项 业务 系统 融入 统一 的 动态 基础 架构 
中 ,提升 服 务 右 资源 的 利用 率 。 

2) 遵循 兼容 原则 ， 支 持 计算 、 存 储 、 网 络 和 安全 四 个 方面 的 标准 接口 、 规 范 与 协 
议 ， 同 现 有 传统 系统 无 缝 兼容， 充分 保护 企业 现 有 开 资产 。 

3) 提供 IaaS 层 和 Half PaaS 层 的 标准 化 组 件 ， 避 免 厂 商 锁定 。 

4) 无 限 接近 甚至 超越 物理 设备 的 稳定 性 、 性 能 及 安全 ， 满 足 金 融 行 业 对 开 系统 的 
可 靠 性 需求 。 


















































23 


| 商业 银行 私有 云 设计 与 实现 


5) 资源 调用 实现 充分 弹性 ， 资 源 调用 极致 敏捷 。 

6) Design for failure (设计 时 为 故障 做 好 准备 ) 通过 P2P 架构 摆脱 系统 对 单 台 物理 
设备 可 靠 性 的 依赖 。 

7) 通过 云 计算 平台 实现 统一 管理 ， 改 善 并 资源 的 运营 ， 提 升 管理 和 维护 效率 ， 充 
分 借助 机 器 智能 (Machine Intelligence) 实现 系统 自 运 维 ， 最 大 限度 降低 运 维 投入 的 同 
时 保障 故障 无 害 。 

8) 为 今后 其 他 更 多 系统 进行 统一 化 管理 基础 设施 提供 良好 的 基础 。 

3. 混合 云 服务 

商业 银行 不 同类 型 的 业务 对 开 系统 有 着 不 同 的 需求 ， 通 党 情况 下 ， 私 有 云 解 决 方 
案 适 用 于 存储 核心 数据 和 部 署 关键 业务 ， 而 公有 云 则 可 以 在 投资 最 少 、 效 率 最 高 的 前 提 
下 为 非 关键 业务 提供 开发 测试 环境 。QingCloud 支持 多 种 VPN 及 隧道 协议 ， 例 如 : Op- 
enVPN (开源 虚拟 专用 网 络 ) 、PPTP ( Point to Point Tunneling Protocol ， 点 对 点 隧道 协 
议 )、GRE (Generic Routing Encapsulation ， 通 用 路 由 封装 ) IPsec (Internet Protocol Se- 
curity，Internet 协议 安全 性 ) 和 IPsec 等 ， 帮 助 企 业 设 计 及 实现 混合 云 (Hybrid Cloud ) 
部 署 ， 便 捷 地 将 多 地 、 多 形式 的 开 环境 协调 成 一 个 整体 的 开 环境 进行 统一 管理 与 调 
度 。 除 Internet 外 ，QingCloud 还 将 建设 与 运营 骨干 网 络 ， 支 持 企业 用 户 通过 专线 链接 位 
于 不 同 数据 中 心 的 IT 环境 。 

青云 QingCloud 的 核心 技术 优势 体现 在 以 下 几 个 方面 : 

(1) 完整 的 IJaas 平台 和 构建 在 自 有 IaaS 平台 上 的 标准 Half PaaS 服务 

1) 自主 产权 的 Iaas 平台 : 覆盖 Iaas 层 计 算 、 存 储 、 网 络 、 安 全 的 全 部 组 件 。 功 能 
与 服务 包括 主机 、 高 性 型 硬盘 与 容量 型 便 盘 、 基 础 网 络 与 和 有 网 络 、 弹 性 公 网 IP、 支 
持 透 明代 理 的 负载 均衡 顺 、 防 火 墙 、 映 像 、 备 份 与 恢复 、SSH (Secure Shel ， 建 立 在 应 
用 层 和 传输 层 基础 上 的 安全 协议 ) 密 钥 、 关 系 型 数据 库 服 务 、 缓 存 服务 等 。 

2) 构建 在 自 有 Iaas 平台 上 的 标准 Half Paas 服务 : 有 了 完整 、 稳 定 、 高 性 能 的 IaaS 
平台 保障 ，QingCloud 自 2014 年 3 季度 起 陆续 推出 了 关系 型 数据 库 服务 、 缓 存 服务 等 标 
准 Half PaaS 层 服务 ， 未 来 还 会 快速 推出 AutoScaling ( Application Fngine) 、 对 象 存储 
(Object Storage) 、 共 享 存 储 (Shared Storage ) 、 消 息 队 列 (Messaging) 、 大 数据 处 理 和 
分 析 平 台 等 更 加 丰富 、 完 善 的 Half PaaS。 

(2) 稳定 可 靠 

1) 通过 实时 多 重 副本 保障 数据 安全 。 

2) 确保 为 每 个 用 户 提供 的 资源 满足 QoS (Quality of Service， 服 务 质量 ) 保障 。 

3) 设计 实时 P2P 机 器 人 社区 协作 确保 故障 无 害 ， 并 确保 QingCloud 的 系统 可 以 无 
限 水 平 扩展 。 

(3) 安全 QingCloud 帮助 用 户 阻 隔 来 自 云 内 部 和 公 网 上 的 攻击 和 非 授 权 访问 ， 并 
避免 因 误 操作 或 应 用 逻辑 bug (系统 缺陷 ) 导致 的 数据 丢失 。 

1) 提供 防火 墙 以 阻隔 来 自 公 网 的 攻击 ; 默认 防火 墙 端口 关闭 ， 以 保障 用 户 开 发 环 
境 不 暴露 在 公 网 之 上 。 
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2) 提供 块 设备 级 的 备份 与 恢复 功能 ， 用 户 可 对 主机 和 多 张 硬盘 (包括 系统 盘 和 数 
据 盘 ) 进行 在 线 或 离线 备份 ， 而 不 会 影响 或 中 断 业 务 ; 可 选 增 量 或 全 量 备 份 ; 可 从 任 
意 一 个 备份 点 恢复 数据 。 

(4) 软件 定义 网 络 

1) 通过 云端 SDN 实现 了 私有 网 络 (VPC) ， 可 以 用 虚拟 路 由 器 以 及 交换 机 对 主机 
进行 组 网 ， 支 持 复 杂 的 端口 转发 功能 ， 并 与 其 他 用 户 实现 100% 的 二 层 隔 离 。 

2) 支持 多 种 VPN (Virtual Private Network， 虚 拟 专 用 网 络 ) 及 隧道 协议 ， 例如: 
OpenVPN、PPTP、GRE 和 IPsec 等 ， 帮 助 企业 设计 及 实现 混合 云 (Hybrid Cloud) ,便捷 
地 将 现 有 IT 环境 同 云端 资源 协调 成 一 个 整体 的 IT 环境 。 

3) 基于 QingCloud 的 SDN 网 络 ， 实 现 支 持 全 透明 代理 等 高 级 功能 的 负载 均衡 器 。 

(5) 软件 定义 存储 

1) 虚拟 资源 的 性 能 可 以 达到 或 接近 物理 设备 的 水 平 ， 通 过 分 布 式 块 存储 系统 实现 
高 性 能 WO (人 性 能 型 硬盘 IO 吞吐 128MB/s)。 

2) 通过 实时 异地 副本 保障 数据 安全 。 

(6) 卓越 的 性 能 ”QingCloud 倡导 云 计 算 资源 性 能 要 媲美 硬件 设备 ， 现 已 具备 支持 
90% 以 上 企业 级 全 应 用 的 能 

1) 虚拟 资源 性 能 达到 或 接近 物理 设备 水 平 ， 虚 拟 化 效率 99. 98% 。 

2) 存储 高 性 能 WO (性 能 型 硬盘 IO 吞吐 128MB/s) ， 未 来 还 将 基于 SSD (Solid 
State Drives， 国 态 便 盘 ) 硬盘 推出 超 高 性 能 存储 服务 。 

3) 全 部 Half Paas 层 的 数据 库 和 缓存 等 服务 全 部 基于 QingCloud 自 有 Iaas 平台 
部 署 。 

(7) 实时 与 按 需 QingCloud 倡导 “自由 计算 ”， 以 极致 敏捷 的 资源 交付 和 完全 自 
由 的 服务 加 载 为 用 户 带 来 充分 的 弹性 。 

1) 所 有 资源 秒 级 响应 并 按 秒 计 费 ， 最 大 程度 发 挥 云 资源 的 弹性 优势 。 

2) 资源 间 采 用 松 耦 合 关系 ， 用 户 可 完全 按 需 要 加 载 各 种 类 型 和 数量 服务 ， 轻 松 实 
现 “ 水 平 ” 与 “垂直 ”的 扩展 与 收缩 〈scale in/out, scale down/up)。 

(8) 开放 ”QingCloud 无 限 开放 全 部 功能 API， 从 而 支持 更 高 效 、 更 有 创造 力 的 资 
源 使 用 和 云端 生态 链 的 构建 。 

(9) 易 用 

1) QingCloud 支持 菜单 界面 和 图 形 界面 操作 ， 通 过 控制 台 快速 创建 与 管理 资源 ， 并 
随时 查看 资源 使 用 情况 、 操 作 日 志 及 消费 记录 。 

2) 通过 工 单 (Tickets) 系统 ， 用 户 可 以 直接 同 QingCloud 开发 人 员 进 行 沟通 ， 咨 
询 和 解决 使 用 中 的 各 种 问题 。 
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第 2 各 
云 计 算 相 关 理 论 和 参考 模型 








探索 和 借鉴 行业 最 佳 理论 和 实践 ， 对 云 计 算数 据 中 心 的 意义 重大 。 本 章 将 归纳 和 总 
结业 界 对 云 计算 和 云 管理 最 新 的 理论 成 果 。 





2.1 ITIL 最 佳 实践 


2.1.1 ITIL 理论 发 展 历程 


ITIL 是 Information Technology Infrastructure Library 的 缩写 ， 即 信息 技术 基础 架构 库 ， 
是 一 套 基 于 开 业界 最 佳 实践 的 开 服务 管理 框架 。 自 20 世纪 80 年 代 中 期 由 英国 政府 部 
门 CCTA (Central Computing and Telecommunications Agency) 提出 以 来 ， 其 内 容 得 到 多 
次 扩展 并 优化 ， 是 当前 全 球 IT 服务 领域 最 受 认 可 的 系统 上 且 实 用 的 管理 方法 ,成 为 开 服 
务 管 理事 实 上 的 国际 标准 ， 得 到 了 全 球 IT 企业 及 组 织 的 大 力 支持 。ITIL 目前 由 英国 商 
务 部 OGC (Office of Government Commerce) 负责 管理 ， 它 由 一 套 客观 、 严 说、 可 量化 
的 标准 和 规范 组 成 。ITIL 最 初 是 作为 英国 政府 IT 部 门 的 最 佳 实践 指南 ， 问 世 后 不 久 便 
被 推广 到 英国 的 私营 企业 ， 逐 步 传 遍 欧 洲 ， 随 后 在 美国 兴起 

到 目前 为 止 ，ITL 已 经 发 布 了 三 个 版 本 ， 分 别 是 ITIL V1、ITIL V2 和 ITIL V3 版 本 ， 
ITIL 从 低 版 本 到 高 版 本 所 涵盖 的 管理 范围 和 内 容 逐 步 扩 充 ， 管 理 体系 逐步 完善 。ITILV1 
版 本 于 1986 年 发 布 ， 主 要 用 于 政府 信息 化 项 目 ; 2000 年 升级 到 ITIL V2， 迅 速 在 全 世 
界 得 到 广泛 响应 和 推广 实践 ; 2007 年 引入 IT 服务 管理 生命 周期 概念 后 升级 为 ITIL V3 ; 
随后 根据 业界 的 最 新 进展 和 意见 反馈 ， 于 2011 年 推出 了 最 新 的 ITIL 2011 修订 版 ， 包 含 
服务 战略 、 设 计 、 转 换 、 运 营 及 持续 改进 等 5 个 生命 周期 阶段 ，26 个 流程 ， 确 保 开 服 
务 管理 整个 生命 周期 能 够 有 机 地 融入 业务 中 ,把 I 上升 到 企业 战略 资产 高 度 ， 展 示 IT 
服务 的 价值 。 以 下 对 这 三 个 版 本 分 别 加 以 介绍 。 
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1. ITIL V1 

20 世纪 80 年 代 中 期 ， 人 们 开始 总 结 在 IT 服务 方面 产生 的 经 验 和 教训 ， 不 断 研 究 如 
何 提供 可 靠 优质 的 开 服务 ， 寻 找 质 量 可 测量 、 成 本 可 计量 的 管理 手段 ， 逐 步 摸索 出 一 
套 IT 服务 的 规范 化 方法 。 在 政府 、IT 组 织 及 专家 的 共同 努力 下 ，80 年 代 后 期 至 90 年 
代 初 期 CCTA (英国 中 央 计 算 机 与 电信 局) 陆续 发 布 了 通过 流程 组 织 IT 服务 管理 的 最 
佳 实践 ITIL V1. 04 ， 共 包含 40 个 流程 ， 主 要 是 基于 职能 型 的 实践 。 

2. ITIL V2 

ITIL 树立 的 以 流程 为 中 心 的 IT 服务 管理 方法 ,使 IT 服务 管理 不 再 是 一 个 “虚无 绿 
缘 ” 的 概念 ， 人 们 逐步 认识 到 IT 服务 管理 的 重要 性 ，ITIL 已 经 成 为 一 个 独立 的 有 着 巨 
大 发 展 潜力 的 行业 。 从 20 世纪 90 年 代 初 开始 ， 越 来 越 多 的 公司 进入 ITIL 领域 并 加 大 
对 ITIL 的 投入 ,试图 占据 一 个 有 利 的 位 置 ， 开 发 基于 ITIL 的 管理 模型 和 系统 软件 ， 例 
如 BMC 公司 通过 收购 Peregrine 公司 的 Remedy 解决 方案 切入 这 个 市 场 ; 荷兰 Vrije 
SERC (大 学 软件 工程 研究 中 心 ) 组 织 开发 IT 服务 能 力 成 熟 度 模 型 (IT Service CMM ) ; 
微软 公司 为 所 有 微软 产品 开发 了 MOF (管理 运营 框架 ) ;HP 公司 开发 了 该 公司 实施 IT 
服务 管理 的 方法 论 HP ITSM Reference Model (惠普 IT 服务 管理 参考 模型 ) ;CA 公司 的 
Unicenter 服务 管理 解决 方案 已 经 可 以 实现 ITL 各 核心 流程 的 集成 管理 。 世 界 上 越 来 越 
多 的 企业 认识 到 了 IT 服务 管理 的 重要 性 ， 并 已 经 开始 或 正 准 备 开 始 实践 开 服务 管理 。 
这 些 企业 实施 IT 服务 管理 的 经 验 和 教训 有 力 地 促进 了 开 服务 管理 方法 的 改进 、 提 高 和 
发 展 。 基 于 此 种 情况 ， 英 国政 府 商 务 部 (0GC，CCTA 于 2001 年 并 入 了 该 机 构 ) 在 
2000 ~ 2003 年 期 间 发 布 了 ITIL 的 全 新 版 本 ITIL V2。ITIL V2 包含 7 个 体系 : 服务 支持 、 
服务 提供 、 实 施 服务 管理 规划 、 应 用 管理 、 安 全 管理 、 基 础 架构 管理 及 ITIL 的 业务 前 
景 。 它 已 经 成 为 IT 服务 管理 领域 全 球 广泛 认可 的 最 佳 实践 框架 。 

3. ITIL V3 

2007 年 5 月 30 日 ，ITIL V3 的 核心 读物 由 0GC 正式 出 版 发 布 。ITIL V3 引入 了 服务 
生命 周期 的 概念 ， 整 合 了 ITIL V1 和 ITIL V2 的 精华 ， 并 与 时 俱 进 地 融入 了 IT 服务 管理 
领域 当前 的 最 佳 实践 。ITIL V3 拥有 三 个 组 件 : 核心 组 件 、 补 充 组 件 和 网 络 组 件 。 核 心 
组 件 由 5 个 领域 组 成 ， 替 代 了 ITILL V2 中 的 服务 支持 和 服务 提供 ,涵盖 了 了 IT 服务 从 设计 
到 退役 的 整个 生命 周期 ， 包 括 关键 概念 和 相对 稳定 、 通 用 化 的 最 佳 实践 。 补 充 组 件 包 括 
不 同情 况 、 行 业 和 环境 的 详细 内 容 和 目标 。 补 充 组 件 是 ITIL V3 的 新 特色 ， 该 部 分 为 在 
不 同市 场 、 不 同 规模 企业 或 行业 、 不 同 技术 或 规范 环境 中 的 应 用 提供 了 有 针对 性 的 指 
导 , 例如 COBIT (信息 系统 审计 和 控制 联合 会 ，Control Objectives for Information and re- 
lated Technology) 、 六 西格玛 、 萨 班 斯 法 案 等 。 补 充 组 件 将 每 年 或 每 季度 不 定期 地 根据 
需求 进行 变更 。 补 充 组 件 中 的 指导 可 以 帮助 用 户 进 行 客户 化 定制 ITIL， 使 其 满足 用 户 
的 特定 需求 ， 并 且 也 为 如 何 将 ITL 与 其 他 最 佳 实践 和 标准 相 结合 提供 指导 。 如 果 ITIL 
V3 能 同 COBIT 及 其 他 的 标准 和 最 佳 实践 结合 得 更 加 紧密 ， 这 将 更 易于 ITL 的 实施 且 可 
以 带 来 更 加 成 功 的 结果 。 网 络 组 件 提供 共同 所 需 的 动态 资源 和 典型 资料 ， 例 如 流程 图 、 
定义 、 模 板 、 业 务 案 例 和 实例 学 习 。 
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ITIL 的 发 展 印证 着 IT 服务 管理 方面 的 巨大 进步 ， 从 早期 ITIL V1 职能 化 、 组 织 化 管 
理 到 ITIL V2 流程 化 管理 ， 再 到 ITIL V3 的 全 生命 周期 管理 ，IT 服务 管理 逐渐 成 为 一 个 
系统 ， 更 具有 系统 性 。 展 现 了 开 服务 管理 整个 发 展 过 程 和 对 应 管理 模式 的 变化 过 程 。 

随 着 云 计算 技术 的 不 断 发 展 ， 给 IT 服务 管理 也 带 来 了 巨大 的 变革 。 企 业 部 署 新 业 
务 的 时 间 缩 得， 业务 敏 捷 性 提升 ， 满 足 市 场 需求 的 速度 更 快 ， 数 据 规模 达到 了 新 的 层 
次 ， 系 统管 理 也 遭遇 了 前 所 未 有 的 复杂 性 。ITL 在 云 计 算 管 理 领域 面临 新 挑战 ， 传 统 的 
基于 ITIL 的 开 服 务 管理 模式 ， 要 适应 云 管理 “更 快 ”、“ 更 大 ”的 特点 ， 提 高 流程 效 
率 ， 加 强 流程 的 自动 化 水 平 ， 逐 步 降 低 开 服务 的 风险 。 采 用 云 计 算 的 企业 急需 形成 一 
套 能 够 支撑 云 管理 体系 的 IT 服务 管理 模型 来 有 效 管理 本 企业 或 组 织 的 全 服务 。 在 云 
计算 时 代 ， 如 何 建立 基于 ITIL 理论 的 ， 能 够 充分 利用 云 计算 提高 流程 管理 效率 ， 同 时 
能 够 有 效 管理 云 计算 提供 的 IT 服务 ， 充 分 降低 风险 ， 成 为 企业 和 组 织 面 临 的 新 挑战 。 











2.1.2 ITIL V2 理论 


2.1.2.1 IT 服务 管理 的 基本 理念 

(1) IT 包括 技术 基础 设施 (硬件 、 系 统 软 件 和 通信 设施 ) 、 应 用 基础 设施 (应 用 
软件 和 数据 库 ) 和 设施 以 及 文档 等 。 

(2) 服务 (Service) ”由 IT 服务 提供 商 支 持 的 、 以 让 客户 感觉 协调 一 致 的 方式 满 
足 客户 的 一 种 或 多 种 需求 的 可 用 系统 或 功能 。 

(3) 全 服 务 (IT Service) 综合 利用 人 、 资 源 和 程序 以 满足 客户 的 信息 需求 。 

(4) 管理 (Management) ”在 提供 和 交付 服务 中 使 用 的 战略 级 、 战 术 级 和 运营 级 的 
概念 和 实践 ， 它 涉及 使 用 各 种 资源 ， 包 括 设 备 、 人 力 、 流 程 和 理念 等 来 实现 某 个 目标 ， 
在 这 里 是 指 交 付 恰当 的 服务 。 

(5) IT 服务 管理 (IT Service Management，ITSM) ”国际 IT 领域 的 权威 研究 机 构 
Gartner 认为 ，ITSM 是 一 套 通 过 服务 级 别 协议 (SLA) 来 保证 开 服务 质量 的 协同 流程 ， 
融合 了 系统 管理 、 网 络 管理 、 系 统 开 发 管理 等 管理 活动 和 变更 管理 、 资 产 管理 、 问 题 管 
理 等 许多 流程 的 理论 和 实践 。 而 ITSM 领域 的 国际 权威 组 织 ITSMF (国际 IT 服务 管理 
论坛 ) 则 认为 ITSM 是 一 种 以 流程 为 导向 、 以 客户 为 中 心 的 方法 ， 它 通过 整合 IT 服务 
与 组 织 业务 ， 提 高 组 织 IT 服务 提供 和 服务 支持 的 能 力 及 其 水 平 。 

ITSM 的 核心 思想 是 ， 对 于 开 组 织 ， 不 管 它 是 企业 内 部 的 还 是 外 部 的 ， 都 是 开 服 
务 提供 者 ， 其 主要 工作 就 是 提供 低 成 本 、 高 质量 的 开 服务 。ITSM 也 是 一 种 IT 管理 。 
不 过 与 传统 的 IT 管理 不 同 ， 它 是 一 种 以 服务 为 中 心 的 开 管理 。 

2.1.2.2 ITIL V2 体系 介绍 

ITIL V2 主要 包含 7 个 模块 ， 这 7 个 模块 是 业务 和 技术 之 间 进 行 交流 的 桥梁 ，7 个 
模块 中 ， 服 务 支持 和 服务 交付 模块 中 的 11 个 过 程 ， 是 人 T 服务 管理 的 核心 过 程 。 图 2-1 
为 ITIL V2. 07 个 模块 的 体系 架构 ， 能 够 展示 各 模块 之 间 的 关系 。 各 模块 的 具体 介绍 
28 
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如 下 : 

1. 业务 视野 

ITIL 所 强调 的 核心 思想 是 从 客户 视 
野 理 解 IT 服务 需求 。 在 提供 IT 服务 时 | | 
首先 应 该 根据 业务 需求 来 确定 IT 需求 。 
本 模块 帮助 服务 提供 方 深 入 了 解 全 基础 
架构 支持 业务 流程 的 能 力 及 IT 服务 管理 
在 提供 端 到 端 IT 服务 过 程 中 的 作用 ， 以 
协助 他 们 更 好 地 处理 与 业务 部 门 之 间 的 
关系 ， 实 现 商业 利益 的 最 大 化 。 图 2-1 ITI 体系 流程 

2. 服务 管理 

服务 管理 是 ITIL 的 核心 模块 ， 包 含 服 务 提 供 和 服务 文 持 两 部 分 。 它 把 开 管理 活动 
归纳 为 10 个 核心 流程 和 一 些 辅助 流程 。 服 务 管 理 的 10 个 核心 流程 分 为 服务 提供 和 服务 
支持 两 组 。 其 中 ， 服 务 提供 由 服务 级 别管 理 、IT 服务 财务 管理 、IT 服务 持续 性 管理 、 
可 用 性 管理 和 能 力 管理 5 个 服务 管理 流程 组 成 ， 服 务 支持 由 事件 管理 、 问 题 管 理 、 配 置 
管理 、 变 更 管理 和 发 布 管理 5 个 流程 及 服务 台 职 能 组 成 。 

3. 基础 设施 管理 

IT 基础 设施 管理 覆盖 IT 基础 设施 的 各 个 方面 ， 包 括 识 别 业务 需求 、 实 施 和 部 署 、 
对 基础 设施 进行 支持 和 维护 等 活动 。IT 基础 设施 管理 的 目标 是 确保 IT 基础 架构 是 稳定 
可 靠 的 ， 能 够 满足 业务 需求 和 支撑 业务 运作 。 

4. 应 用 管理 

应 用 管理 包括 对 应 用 系统 从 最 初 的 业务 需求 到 应 用 系统 的 交付 、 支 持 、 维 护 、 运 作 
及 下 线 。 为 了 确保 应 用 系统 满足 客户 需求 并 方便 对 其 进行 文 持 和 维护 ， 开 服务 管理 的 
职能 应 介入 应 用 系统 的 开发 、 测 试 和 部 署 。 应 用 管理 模块 指导 IT 服务 提供 方 有 效 协调 
应 用 系统 的 开发 和 维护 ， 以 使 它们 做 为 一 个 整体 的 为 客户 的 业务 运作 提供 支持 和 服务 。 

5. 安全 管理 

安全 管理 的 目标 是 保护 IT 基础 架构 ， 使 其 避免 未 经 授权 的 使 用 。 安 全 管理 模块 为 
如 何 确定 安全 需求 、 制 定安 全 政策 和 策略 及 处 理 安全 事件 提供 了 全 面 指 导 。ITIL 的 安全 
管理 模块 侧重 的 是 从 政策 、 策 略 和 方法 的 角度 指导 如 何 进行 安全 管理 ， 更 加 侧重 于 安全 
管理 原则 的 指导 。 

6. 规划 实施 服务 管理 

规划 实施 服务 管理 的 作用 是 指导 服务 提供 者 如 何 整 合 和 实施 上 述 模 块 中 的 各 个 流 
程 。 它 指导 客户 确立 远景 目标 ,分 析 和 评价 现状 ， 确 定 合理 的 目标 并 进行 差距 分 析 ， 确 
定 任务 的 优先 级 ， 同 时 对 流程 的 实施 情况 进行 测量 和 评审 。 

2.1.2.3 服务 提供 

ITIL V2 的 服务 提供 模块 更 多 地 覆盖 了 IT 服务 提供 的 前 期 需要 进行 管理 的 内 容 ， 它 
包括 服务 级 别管 理 、IT 服务 财务 管理 、IT 服务 持续 性 管理 、 可 用 性 管理 和 能 力 管理 。 
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这 些 过 程 主 要 关注 于 为 改进 所 提供 的 IT 服务 的 质量 开发 计划 。 

1. 服务 级 别管 理 (Service Level Management) 

服务 级 别管 理 是 定义 、 协 商 、 订 约 、 检 测 和 评审 提供 给 客户 的 服务 的 质量 水 准 的 流 
程 。 服 务 级 别 协议 规定 了 服务 双方 各 自 的 责任 、 权 利和 义务 ， 是 IT 服务 成 功 运营 的 重 
要 保障 。 本 流程 的 目标 是 确保 服务 级 别 协议 是 根据 客户 需求 而 不 是 服务 提供 者 的 技术 能 
力 确定 的 ,保证 服务 级 别 协议 得 到 有 效 执行 ， 并 在 服务 双方 出 现 争 议 时 提供 有 效 的 证 据 
和 解决 争议 的 指导 规则 。 

2. IT 服务 财务 管理 (Financial Management of IT Services) 

IT 服务 财务 管理 是 指 负 责 预 算 和 核算 IT 服务 提供 方 提 供 IT 服务 所 需 的 成 本 ， 并 向 
客户 收取 相应 服务 费用 的 管理 流程 。 其 目标 是 通过 量化 服务 成 本 减少 成 本 超支 的 风险 、 
减少 浪费 ， 确 保 所 提供 的 开 服务 符合 成 本 效益 的 原则 。 本 流程 包括 IT 投资 预算 、IT 服 
务 成 本 核算 和 服务 计 费 三 个 子 流程 。IT 服务 财务 管理 流程 产生 的 信息 可 为 服务 级 别管 
理 、 能 力 管理 、IT 服务 持续 性 管理 和 变更 管理 等 管理 流程 提供 决策 依据 。 

3. IT 服务 持续 性 管理 (IT Service Continuity Management) 

IT 服务 持续 性 管理 是 指 发 生 灾难 后 有 足够 的 技术 、 财 务 和 管理 资源 来 确保 IT 服务 
持续 性 的 管理 流程 。 本 流程 关注 的 焦点 是 在 发 生 服 务 故 障 后 仍然 能 够 提供 预定 级 别 的 
IT 服务 从 而 支持 组 织 的 业务 持续 运营 的 能 

4. 可 用 性 管理 ( Availability Management ) 

可 用 性 管理 是 根据 用 户 和 业务 方 的 可 用 性 需求 优化 和 设计 IT 基础 架构 的 可 用 人 性， 
从 而 确保 以 合理 的 成 本 满足 不 断 增 长 的 可 用 性 需求 的 管理 流程 。 可 用 性 管理 是 一 个 前 瞻 
性 的 管理 流程 ， 它 通过 对 业务 和 用 户 可 用 性 需求 的 定位 ,使 IT 服务 的 可 用 性 设计 建立 
在 真实 需求 的 基础 上 ， 从 而 避免 过 度 的 可 用 性 级 别 ， 节 约 了 IT 服务 的 运营 成 本 。 

5. 能 力 管理 (Capacity Management) 

能 力 管理 是 指 在 成 本 和 业务 需求 的 双重 约束 下 ， 通 过 配置 合理 的 服务 能 力 使 组 织 的 
IT 资源 发 挥 最 大 效能 的 服务 管理 流程 。 能 力 管理 包括 业务 、 服 务 和 资源 能 力 管理 三 个 
子 流程 。 其 中 业务 能 力 管理 主要 关注 当前 及 未 来 的 业务 需求 ， 服 务 能 力 管理 主要 关注 当 
前 IT 服务 的 绩效 支持 正常 业务 运营 的 情况 ， 资 源 能 力 管 理 主要 确保 IT 基础 设施 中 所 有 
组 件 能 发 挥 最 大 的 效能 。 

2.1.2.4 服务 交付 

服务 支持 由 事故 管理 、 问 题 管理 、 配 置 管理 、 变 更 管理 和 发 布 管理 5 个 流程 及 服务 
台 职 能 组 成 。 对 这 些 服务 流程 和 服务 职能 的 含义 分 别 说 明 如 下 : 

1. 服务 台 (Service Desk ) 

服务 台 作为 IT 服务 提供 方 与 IT 服务 客户 和 用 户 之 间 的 统一 联系 点 。 当 客户 或 用 户 
提出 服务 请 求 或 报告 事故 时 负责 记录 并 尽量 解决 ， 在 不 能 解决 时 可 以 转交 给 相应 的 支持 
小 组 并 负责 协调 各 小 组 和 用 户 的 交互 。 同 时 ， 把 支持 小 组 的 处 理 进展 及 时 通报 给 用 户 。 
此 外 ， 服 务 台 还 为 其 他 管理 流程 如 变更 管理 、 配 置 管理 、 发 布 管理 、 服 务 级 别管 理 及 
IT 服务 持续 性 管理 提供 了 接口 。 
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2. 事故 管理 (Incident Management) 

事故 是 任何 不 符合 标准 操作 且 已 经 引起 或 可 能 引起 服务 中 断 和 服务 质量 下 降 的 事 
件 。 本 流程 的 目的 是 在 出 现 事故 时 尽 可 能 快 地 恢复 服务 的 正常 运营 ， 避 免 造 成 业务 中 
断 ， 以 确保 最 佳 的 服务 可 用 性 级 别 。 事 故 管理 流程 必须 最 佳 地 利用 资源 支持 业务 、 开 发 
和 维护 有 效 的 事故 记录 以 及 设计 和 应 用 统一 的 事故 报告 。 

3. 问题 管理 (Problem Management) 

问题 是 发 现 事故 的 潜在 原因 ， 并 防止 它们 重复 发 生 的 过 程 。 问 题 管理 与 事故 管理 有 
明显 的 不 同 ， 事 故 管理 的 目标 是 尽 可 能 快 地 恢复 服务 ， 而 问题 管理 的 主要 目的 是 找 出 事 
故 产 生 的 根本 原因 ， 为 此 ， 它 甚至 可 能 要 求 中 断 服务 。 问 题 管理 如 果 发 现 事故 产生 的 原 
因 并 找到 解决 方案 ， 需 提交 变更 请 求 (RFC) 以 消除 事故 或 问题 产生 的 根本 原因 。 

4. 配置 管理 (Configuration Management ) 

配置 管理 是 识别 和 确认 系统 的 配置 项 ， 记 录 和 报告 配置 项 的 状态 和 变更 请 求 ， 检 验 
配置 项 的 正确 性 和 完整 性 等 活动 构成 的 过 程 。 其 目的 是 提供 IT 基础 架构 的 逻辑 模型 ， 
支持 其 他 服务 管理 流程 特别 是 变更 管理 和 发 布 管理 的 运营 ， 为 其 他 流程 提供 准确 的 信 
息 ， 验 证 基础 架构 记录 并 在 必要 时 纠正 有 关 记 录 。 

5. 变更 管理 (Change Management ) 

变更 是 对 已 批准 构建 或 实施 的 、 已 在 维护 的 或 作为 基准 的 硬件 、 网 络 、 软 件 、 应 
用 、 环 境 、 系 统 及 相关 文档 所 做 的 增加 、 修 改 或 移 除 。 本 流程 的 目标 是 在 最 短 的 中 断 时 
间 内 完成 基础 架构 或 服务 变更 而 对 其 进行 控制 的 过 程 。 变 更 管理 的 目的 是 使 用 标准 方法 
和 规程 来 快速 有 效 地 处 理 所 有 变更 ， 以 减少 任何 有 关 事 故 对 服务 的 影响 。 

6. 发 布 管理 (Release Management) 

发 布 管理 是 指 一 组 经 过 测试 后 导入 实际 运营 环境 的 新 增 的 或 经 过 改动 的 配置 项 。 发 
布 管理 的 目的 是 为 了 保证 发 布 的 成 功 ， 主 要 应 用 于 大 型 或 关键 的 硬件 、 主 要 软件 及 打包 
或 批 处 理 一 组 变更 。 
































2. 1.3 ITIL V3 理论 


从 ITIL V3 理论 可 以 看 出 ， 随 着 经 济 发 展 以 及 IT 服务 的 不 断 扩展 ， 人 们 对 IT 的 看 
法 已 经 发 生 了 巨大 转变 。 人 们 逐步 意识 到 管理 开 所 需 的 不 仅仅 是 一 系列 流程 ， 而 是 需 
要 通过 管理 服务 生命 周期 来 创造 业务 价值 。 因 此 ， 如 何 充分 利用 技术 来 提高 业务 价值 ， 
成 为 人 们 关注 的 焦点 。 借 助 ITIL V3 ， 服 务 管 理 可 以 与 不 断 变化 的 业务 需求 、 优 先 级 不 
断 变化 的 业务 类 别 、 日 新 月 异 的 技术 以 及 新 的 治理 模式 保持 协调 一 致 。 更 新 版 的 ITIL 
V3 旨 在 加 速 并 简化 服务 管理 流程 的 应 用 与 实施 ， 从 而 优化 业务 成 效 。 
2.1.3.1 ITIL V3 特性 
加 强 对 服务 生命 周期 的 管理 是 TTIL V3 与 前 两 版 ITIL 的 重大 区 别 。 在 过 去 5 年 甚至 
更 长 的 时 间 中 ， 服 务 生 命 周 期 管理 的 理念 发 生 了 转变 并 逐渐 成 熟 。IT 成 为 企业 越 来 越 
重要 的 战略 组 成 部 分 ， 为 满足 业务 需求 ，IT 管理 包含 的 内 容 从 流程 和 功能 的 实施 。 逐 
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步 扩展 到 IT 服务 周期 的 各 个 阶段 提供 的 各 项 IT 服务 。ITIL V3 基于 这 一 新 理念 ， 根 据 
服务 生命 周期 阶段 及 业务 成 效 目标 构建 ， 保 留 了 ITIL V2 的 流程 ， 并 明确 了 利用 这 些 流 
程 来 提供 业务 支持 服务 ， 以 及 实施 和 管理 这 些 流 程 的 方法 。 

(1) ITIL V3 服务 生命 周期 的 主要 阶段 划分 在 ITIL V3 中 ， 服 务 生命 周 期 的 5 个 主 
要 阶段 划分 如 下 : 

1) 面向 实际 决策 制定 的 服务 战略 阶段 : 该 阶段 定义 了 开 的 角色 和 需求 ， 以 确保 整 
体 业 务 的 成 功 。 

2) 规划 实际 服务 蓝图 的 服务 设计 阶段 ，IT 部 门将 对 服务 进行 设计 ， 使 之 能 够 通过 
功能 和 性 能 满足 企业 的 需求 ， 同 时 具备 可 管理 性 和 经 济 高 效 性 。 

3) 中 在 改善 管理 变更 、 降 低 风险 并 保证 质量 的 服务 转换 阶段 对 服务 进行 测试 ， 
并 以 可 控 的 方式 在 基础 设施 中 实施 。 

4) 旨 在 提高 服务 稳定 性 和 响应 能 力 的 服务 运营 阶段 :本 阶段 真正 提供 服务 并 为 服 
务 提供 支持 。 服 务 运营 将 提供 所 定制 的 服务 ， 同 时 积极 应 对 业务 和 本 方 面 的 各 种 变化 ， 
提高 服务 的 稳定 性 和 灵活 性 。 

5) 具备 可 行 的 衡量 标准 的 持续 性 服务 改进 阶段 : 该 阶段 将 对 服务 的 质量 和 成 本 进 
行 持续 监 挖 和 衡量 ， 从 而 改进 服务 的 质量 并 降低 其 成 本 ， 同 时 使 其 与 不 断 变 化 的 业务 需 
求 保持 一 致 。 
(2) ITIL V3 新 增 特 性 
1) 让 用 户 看 到 ITIL 实践 带 来 的 业务 优势 。 
2) 在 原 有 ITIL 版 本 上 改进 了 ITIL 的 有 效 性 和 适用 性 。 
3) 使 ITIL 更 加 易于 实施 。 
4) 引入 了 原 有 ITIL 版 本 的 实际 改 
， 其 中 包括 工具 、 技 术 和 关系 类 型 。 
2.1.3.2 ITIL V3 框架 
ITIL V3 的 核心 架构 是 基于 服务 生 
命 周 期 的 。 如 图 2-2 所 示 ， 生 命 周期 模 
型 的 引入 改变 了 ITIL V2 模块 之 间 相 互 
割裂 、 独 立 实施 的 局 面 ， 从 战略 、 战 术 
和 运作 三 个 层面 提出 服务 管理 实践 方 
法 。ITIL V3 以 服务 战略 作为 总 纲 ， 通 
过 服务 设计 、 服 务 转换 和 服务 运作 加 以 
实施 ， 并 借助 持续 服务 改进 不 断 完善 和 
优化 整个 过 程 ， 使 IT 服务 管理 的 实施 
过 程 被 有 机 整合 为 一 个 良性 循环 的 整 
体 。 其 中 ， 服 务 战 略 是 服务 生命 周期 的 
轴 心 ; 服务 设计 、 服 务 转换 和 服务 运营 是 服务 实施 和 运营 阶段 ; 服务 改进 则 是 基于 服务 
战略 对 服务 的 定位 、 进 程 和 项 目 进行 优化 和 改进 。 
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接 下 来 ,我 们 将 简单 介绍 一 下 各 模块 所 包括 的 内 容 : 

1. 服务 战略 

该 模块 提供 了 关于 如 何 设计 、 开 发 和 实施 服务 管理 的 指导 。 服 务 战略 是 服务 设计 、 服 
务 转换 、 服 务 运营 和 服务 改进 的 基础 和 核心 ， 它 的 主题 包括 了 市 场 开 发 、 内 部 和 外 部 的 服 
务 提供 、 服 务 资产 、 服 务 目录 以 及 整个 服务 生命 周期 过 程 中 战略 的 实施 ， 同 时 ， 还 包括 了 
财务 管理 、 服 务 投资 组 合 管理 、 组 织 的 制定 和 战略 风险 等 一 些 重 要 的 主题 。 服 务 战略 确保 
组 织 能 处 理 与 服务 投资 组 合 相 关 的 成 本 和 风险 ， 建 立 运 营 的 有 效 性 和 实现 出 色 的 绩效 。 

2. 服务 设计 

该 模块 为 服务 和 服务 管理 流程 的 设计 和 开发 提供 指导 。 服 务 设计 的 范围 不 仅 限于 新 
的 服务 ， 还 包括 为 了 保持 和 增加 客户 价值 ， 而 实行 服务 生命 周期 过 程 中 必要 的 变更 和 改 
进 、 服 务 的 连续 性 、 服 务 水 平 的 满足 ， 以 及 对 标准 、 规 则 的 遵从 性 。 它 指导 了 组 织 如 何 
开发 设计 服务 管理 的 能 

3. 服务 转换 

服务 转换 是 指导 如 何 将 新 的 或 变更 的 服务 转换 到 运营 体系 中 的 能 力 。 服 务 战略 需要 
通过 服务 设计 进行 编码 ， 而 服务 转换 则 是 探讨 如 何 将 这 种 编码 有 效 地 导入 到 服务 运营 的 
体系 中 ， 并 在 此 革新 的 过 程 中 避免 出 现 不 良 的 结果 。 此 外 ， 它 还 提供 了 客户 与 服务 提供 
商 之 间 转 换 过程 中 对 服务 控制 的 指导 。 

4. 服务 运营 

对 如 何 达 到 服务 支持 和 交付 的 效果 和 效率 以 确保 客户 与 服务 供应 商 的 价值 提供 了 指 
导 。 战 略 目 标 最 终 需 要 通过 服务 运营 来 实现 ， 因 此 ， 它 是 一 种 非常 重要 的 能 力 。 它 提供 
了 在 设计 、 规 模 和 服务 水 平 变 化 的 情况 下 保持 服务 运营 稳定 性 的 方法 。 同 时 为 经 理 和 实 
践 者 如 何 利用 知识 管理 对 服务 可 用 性 、 控 制 需 求 、 优 化 使 用 能 力 、 操 作 安 排 和 问题 修复 
等 方面 做 出 更 优 的 决策 提供 了 指导 。 

5. 服务 改进 

它 结合 了 质量 管理 、 变 更 管理 和 能 力 改进 方面 的 原则 、 实 践 和 方法 。 为 创造 和 保持 
客户 价值 ， 而 用 更 优化 的 服务 设计 、 导 入 和 运营 提供 了 指导 。 组 织 在 服务 质量 、 运 营 效 
率 和 业务 连续 性 方面 要 有 不 断 提高 和 改进 意识 。 此 外 ， 服 务 改进 还 为 改进 所 取得 的 成 就 
与 服务 战略 、 服 务 设计 和 服务 转换 之 间 如 何 建 立 关联 提供 了 方法 。 对 建立 基于 PDCA 模 
型 (Plan、Do、Check 和 Act) 闭环 反馈 系统 提供 了 指导 。 





















































2.1.4 ITIL V3 与 ITIL V2 的 特征 比较 


ITIL V3 是 对 ITIL 最 佳 实践 的 巩固 和 提高 ， 也 是 “当前 最 佳 实践 ”的 精髓 。OGC 对 
ITIL V2 中 的 重要 内 容 加 以 精简 ， 然 后 将 其 收录 到 ITIL V3 中 。ITIL V3 的 结构 框架 和 内 
容 来 源 于 大 量 的 公众 评议 及 行业 管理 者 的 意见 。 同 时 ， 它 也 保留 了 ITIL V2 中 仍 被 ITSM 
团体 广泛 实践 和 运用 的 内 容 。ITIL V3 增加 了 部 分 新 概念 ， 尤 其 引入 了 “生命 周期 ”这 
个 概念 。 借 助 于 “生命 周期 ”的 贯穿 ，ITIL V3 将 ITIL V2 中 的 各 个 流程 有 机 地 整合 在 
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一 起 ， 同 时 增加 了 一 些 营 销 方 法 与 流程 ， 讲 解 了 ITIL 在 不 同 的 行业 该 如 何 切入 ， 使 得 
ITIL 跟 企业 的 关系 更 加 紧密 。ITIL V2 与 ITIL V3 的 比较 主要 体现 在 五 个 方面 ， 见 表 2-1 
表 2-1 ITIL V2 与 ITIL V3 的 特征 比较 
ITIL V2 的 特征 ITIL V3 的 特征 

关注 会 事件 问题 变 念 管 人 
关注 诸如 服务 台 .事件 .问题 .变更 .配置 和 风险 管理 的 关注 服务 因为 流程 只 是 服务 的 附属 物 


流程 












































关注 业务 与 IT 的 结合 强调 业务 和 IT 的 整合 

关注 价值 链 管理 强调 价值 网 络 的 集成 

关注 线性 的 服务 目录 强调 动态 的 服务 投资 组 合 
关注 流程 一 体 化 的 集成 强调 全 面 服 务 管理 的 生命 周期 














2.1.5 云 计 算 对 ITIL 产生 的 影响 


在 云 计 算 高 速 发 展 的 时 代 ， 企业 的 全 服务 管理 面临 着 巨大 的 挑战 业务 要 快速 上 
线 运 营 ，IT 基础 架构 日 益 复杂 ，IT 部门 的 管理 负担 加 重 ， 对 业务 的 连续 性 提出 了 更 高 
的 要 求 ， 运 营 成 本 不 断 增 加 。 以 ITIL 理论 为 基础 的 IT 服务 管理 最 佳 实践 为 云 计算 优质 
服务 的 提供 发 挥 了 更 重要 的 作用 ; 同时 ， 云 计算 对 流程 的 自动 化 、 高 效 化 ， 降 低 流程 风 
险 也 起 到 了 巨大 的 推动 作用 。 

1. 提供 标准 化 的 IT 服务 

在 云 计算 环境 下 ， 开 部 门 为 业务 部 门 或 开 部 门 内 部 提供 的 IT 服务 呈现 出 更 加 标准 
化 、 规 范 化 、 可 量化 的 特点 。 服 务 的 申请 与 提供 流程 更 加 简洁 。 例 如 : 原 有 基础 设施 及 
平台 资源 的 安装 与 分 配 因 基础 设施 软 便 件 环境 的 非 标准 化 导致 安装 过 程 极 为 繁琐 。 云 计 
算 环 境 下 通常 为 用 户 提供 标准 的 资源 服务 ， 使 流程 环节 得 到 简化 ， 流 程 成 本 逐步 降低 ， 
流程 处 理 效率 大 幅 提升 。 

2. 自动 化 提升 流程 效率 ， 降 低 流 程 风 险 

基于 云 计算 环境 的 自动 化 管理 水 平 大 幅 提 升 ， 已 知事 故 的 处 理 、 标 准 化 变更 的 实 
施 、 版 本 分 发 都 可 通过 自动 化 方式 进行 ， 标 准 化 服务 通过 自动 化 方式 提供 ， 在 减少 人 力 
成 本 的 同时 ,减低 人 为 操作 风险 ， 提 高 流程 执行 效率 ,减少 流程 风险 。 

3. 量化 服务 管理 达到 业务 目标 

云 计算 提供 的 标准 化 服务 ， 为 服务 量化 提供 了 便利 。 结 合 这 一 优势 ， 量 化 交付 的 
IT 服务 ， 做 到 成 本 可 追踪 ， 性 能 与 可 用 性 可 被 监控 管理 ， 进 行 量化 管理 能 够 达到 降低 
成 本 、 提 升 服务 质量 、 提 高 生产 力 、 掌 控 风 险 与 持续 改进 的 目标 。 















































2.2 IBM CCRA 


2.2.1 IBM CCRA 概述 





目前 很 多 公司 都 在 制定 自己 的 云 计算 参考 框架 ,根据 各 自 的 理解 定义 了 云 计算 的 主 
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要 构成 组 件 ， 为 构建 企业 级 私有 云 提供 了 有 益 的 参考 。 

CCRA 是 IBM 根据 多 年 为 客户 咨询 、 设 计 与 实施 云 计算 解决 方案 的 经 验 定义 的 一 个 
云 计算 参考 框架 ， 是 一 个 云 计算 的 架构 蓝图 和 实现 指南 。IBM 云 计算 参考 架构 为 云 计算 
平台 的 实现 提供 指导 性 原则 和 技术 工作 产品 ， 如 服务 和 部 署 模型 ， 并 定义 了 具体 实现 的 
采用 模式 ( Adoption Patterm ) 。 一 个 采用 模式 具体 表达 了 体系 结构 模式 ， 具 体 说 明了 企 
业 单 位 可 以 用 它 来 实施 云 计算 解决 方案 的 方法 ， 可 以 指导 企业 单位 定义 与 设计 满足 自己 
需求 的 云 计算 解决 方案 。 

IBM 云 计算 参考 架构 定义 了 构成 云 计 算 环 境 的 基本 架构 元 素 ， 下 面 进行 简要 说 明 。 

1. 角色 

该 架构 定义 了 三 个 主要 角色 ， 即 云 服务 消费 者 ( Cloud Service Consumer) 、 云 服务 
提供 者 〈Cloud Service Provider) 和 云 服务 创建 者 (Cloud Service Creator) 。 每 一 个 角色 
可 以 由 单 人 执行 ， 也 可 以 由 一 组 人 或 一 个 组 织 团体 执行 。 一 个 云 服 务 消 费 者 可 以 是 一 个 
组 织 、 一 个 人 或 一 个 IT 系统 ， 他 们 消耗 着 特定 的 云 服 务实 例 。 云 服务 提供 者 有 能 力 为 
云 服 务 消费 者 提供 云 服务 。 云 服务 创建 者 的 目的 是 创建 一 个 能 够 被 云 服 务 提供 商 运 行 并 
提供 给 云 服务 消费 者 的 云 服 务 。 通 常情 况 下 ， 云 服务 创建 者 利用 云 服务 提供 商 提 供 的 服 
务 功 能 来 创建 自己 的 云 服务 ， 就 如 同 云 服 务 提供 商 和 云 服务 消费 者 一 样 ， 云 服务 创建 者 
可 以 是 一 个 组 织 或 一 个 人 。 

2. 服务 

在 IBM 云 计 算 参 考 架 构 中 设计 了 四 种 云 服 务 模 式 : 基础 设施 即 服务 (IaaS) 、 平 台 
即 服务 (PaaS) 、 软 件 即 服务 (SaaS) 和 业务 过 程 即 服务 (BPaaS) (业务 过 程 即 服务 是 
IBM 自己 定义 的 ， 在 美国 国家 标准 中 只 定义 了 IaaS、PaaS 和 SaaS)。 

3. 基础 设施 

在 IBM 云 计算 参考 架构 中 ， 基 础 设施 所 有 的 元 素 都 在 云 服 务 提 供 商 里 面 ， 包 括 服 
务 器 、 存 储 、 网 络 资源 和 机 房 设 施 。 基 础 设施 元 素 仅 限于 硬件 基础 设施 ， 它 不 包括 系统 
管理 程序 ， 也 不 包括 任何 虚拟 化 管理 软件 。 

4. 公共 云 管理 平台 (Common Cloud Management Platform ，CCMP) 

在 IBM 云 计算 参考 架构 中 ， 公 共 云 管理 平台 (CCMP) 的 功能 是 通过 由 CCMP 内 
部 组 件 公 开 的 AP 来 访问 的 。CCMP 被 定义 为 通用 云 管理 平台 ,以 文 持 跨越 IaaS、 
PaaS、SaaS、BPaaS 任何 类 别 的 云 服务 管理 。CCMP 分 为 两 个 主要 元 素 : 运营 文 持 服 
务 (Operational Support Services，0SS) 和 业务 文 持 服务 (Business Support Services ， 
BSS ) 。 

(1) 运营 支持 服务 (0SS) ”代表 了 一 系列 运营 管理 和 相关 技术 服务 ， 这 些 服务 将 
由 CCMP 提供 给 服务 消费 者 ， 这 些 服务 需要 通过 云 服 务 的 创造 者 来 实现 。0SS 主要 包括 
平台 与 虚拟 化 管理 (Platform and Virtualization Management) 、 监 控 与 事件 管理 (Monito- 
ring and Event Management) 、IT 资产 与 授权 管理 (IT Asset and License Management) 、 容 
量 与 性 能 管理 ( Capacity and Performance Management) 、 自 动 化 部 署 〈Provisioning) 、 配 
置 与 变更 管理 (Configuration and Change Management) 、 服 务 自动 化 管理 (Service Auto- 
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mation Management) 、 事 件 与 问题 管理 (Incident and Problem Management) 、IT 服务 水 平 
管理 (IT Service Level Management) 、 服 务 交 付 目录 管理 (Service Delivery Catalog Man- 
agement) 、 服 务 请 求 管理 (Service Request Management) 、 镜 像 生命 周期 管理 (Image 
Lifecycle management) 、 备 份 与 恢复 管理 (Backup and Restore Management) 、 安 全 合 规 
性 管理 (Security Compliance Management) 和 补丁 管理 (Patches Management ) 。 

(2) 业务 支持 服务 (BSS) ”代表 了 一 系列 与 业务 相关 服务 ， 这 些 服务 将 由 CCMP 
提供 给 服务 消费 者 ， 这 些 服务 需要 通过 云 服务 的 创造 者 来 实现 。BSS 主要 包括 客户 账户 
管理 (Customer Account Management) 、 合 同 与 合约 管理 (Contracts and Agreement Man- 
agement) 、 计 量 (Metering) 、 定 价 管理 (Pricing)、 评 级 管理 (Rating)、 账 单 管理 
(Billing) 、 订 单 管 理 (Order Management) 、 服 务 目 录 (Service Offering Catalog ) 、 服 务 
管理 ( Service Offering Management) 、 授 权 管 理 (Entitlement Management) 、 服 务 请 求 管 
理 (Service Request Management) 、 预 定 管理 (Subscription Management ) 、 结 算 管 理 
(Clearing Settlement) 、 应 付 账 款 〈Account Payable) 和 应 收 账 款 ( Account Receivable ) 。 

5. 安全 性 、 弹 性 、 性 能 和 易 用 性 

安全 性 、 弹 性 、 性 能 和 易 用 性 横 跨 了 基础 设施 、 公 共 云 管理 平台 (CCMP) 和 三 个 
云 服 务 角色 等 方面 。 这 些 非 功能 性 要 素 必须 从 端 到 端的 角度 来 看 ， 包 括 CCMP 本 身 的 组 
成 结构 、 硬 件 基 础 设施 的 设置 (例如 从 隔离 、 网 络 分 区 方面 划分 ， 为 数据 中 心 配置 灾 
难 恢复 等 ) 以 及 如 何 实现 云 服 务 。 

6. 服务 创建 工具 

云 服务 创建 者 使 用 服务 开发 工具 开发 新 的 云 服务 ， 包 括 开 发 运行 工件 ( Runtime 
Artifacts) 和 有 关 管 理 组 件 (如 监测 、 计 量 、 配 置 等 )。 














2.2.2 资源 池 的 定义 和 目标 


资源 池 是 由 云 计算 引申 出 来 的 基础 设施 资源 管理 的 逻辑 概念 ， 通常 来 讲 是 将 计算 资 
源 、 存 储 资 源 和 网 络 资源 等 传统 的 基础 设施 资源 的 运算 能 力 通过 云 管理 平台 统一 整合 在 
一 个 池内 ， 再 进行 统一 分 配 及 管理 。 

资源 池 打破 了 单一 设备 的 限制 ， 将 所 有 的 CPU、 内存、 存储 和 网 络 等 资源 解放 出 
来 ， 并 汇集 在 一 起 形成 一 个 可 分 配 管理 的 池 ， 当 用 户 提出 需求 时 ， 便 从 这 个 池 中 配置 能 
够 满足 需求 的 组 合 。 

资源 的 池 化 使 得 用 户 不 再 关心 计算 、 存 储 和 网 络 等 资源 的 物理 位 置 和 存在 形式 ， 只 
需要 按 需 获取 ， 其 可 共享 的 特征 也 使 并 部 门 能 够 灵活 地 对 资源 进行 配置 ， 进 而 实现 资 
源 的 弹性 供给 和 有 效 利用 。 














2.2.3 云 服 务 的 定义 和 目标 


云 服务 是 指 通 过 网 络 以 按 需 、 易 扩展 的 方式 获得 所 需 服 务 。 这 种 服务 可 以 是 IT 服 
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务 ， 也 可 以 是 其 他 服务 ， 这 里 主要 是 指 IT 服务。 目前 业界 流行 的 云 服 务 模型 主要 包括 
Iaas (基础 设施 即 服务 ) 、PaaS (平台 即 服务 ) 和 SaaS (软件 即 服务 ) 。 

对 于 以 上 云 服务 模式 可 根据 企业 特点 进行 重新 定义 ,示例 如 下 : 

1. laaS 

IaaS 提供 给 消费 者 的 服务 是 对 基础 设施 的 利用 ,包括 人 处理、 存储 、 网 络 和 其 他 基本 
的 计算 资源 。 用 户 能 够 部 署 和 运行 任意 软件 ， 包 括 操作 系统 和 应 用 程序 。 消 费 者 不 管理 
或 不 控制 任何 云 计算 基础 设施 ， 但 能 控制 操作 系统 的 选择 、 存 储 空间 、 部 署 的 应 用 ， 也 
有 可 能 获得 有 限制 的 网 络 组 件 ( 防火墙 、 负 载 均衡 器 等 ) 的 控制 。 

此 外 ,将 IaaS 界定 为 预 装 操作 系统 和 必要 的 管理 软件 的 标准 部 署 单元 ， 此 部 署 单 
元 以 虚拟 机 或 实体 机 形式 供给 ， 包 含 已 按 标准 规范 配置 的 操作 系统 及 相关 管理 软件 ， 用 
户 在 其 上 部 署 应 用 。 除 了 计算 资源 ，IaaS 还 提供 对 应 的 存储 服务 和 虚拟 网 络 服务 ， 即 以 
虚拟 机 或 实体 机 形式 提供 的 计算 资源 服务 ， 预 装 标准 操作 系统 以 及 必要 的 管理 软件 ， 同 
时 提供 磁盘 存储 服务 和 网 络 连通 服务 。 

2. PaaS 

业界 流行 的 公有 云 PaaS 通常 只 支持 某 种 特定 的 、 由 提供 商 规 定 的 编程 语言 与 
工具 创建 的 应 用 ， 提 供 商 往往 在 提供 应 用 运行 环境 和 部 署 服务 的 同时 为 开发 人 员 提 
供 完 整 的 开发 框架 ， 这 使 得 开发 人 员 可 以 快速 地 通过 统一 的 接口 获取 云 平台 的 各 种 
服务 而 无 需 了 解 底层 实现 的 相关 细节 ， 然 而 这 种 模式 很 难 直 接应 用 到 企业 私有 云 环 
境 中 。 

因此 ， 在 企业 私有 云 构 建 中 ， 首 先 应 用 系统 开发 需要 使 用 多 种 编程 语言 ， 运 行 在 多 
种 中 间 件 之 上 ， 基 础 设施 云 必 须 支 持 这 些 异 构 的 技术 平台 ， 且 支持 不 同 技术 架 构 的 部 署 
单元 之 间 的 集成 。 

其 次 ， 在 企业 私有 云 环境 下 ， 应 用 的 部 署 只 是 个 开始 ， 更 重要 的 是 对 整个 应 用 生 
命 周 期 的 管理 。 因 此 ， 基 础 设施 云 除 了 支持 应 用 的 自动 化 部 署 之 外 ， 还 应 该 支持 应 
用 与 其 他 通用 技术 服务 的 集成 ， 以 及 通过 应 用 系统 与 IT 服务 管理 系统 的 集成 实现 对 
应 用 运行 环境 生命 周期 管理 ， 即 基于 标准 部 署 模式 的 应 用 部 署 与 管理 服务 ， 应 用 运 
行 环 境 中 将 预 装 操作 系统 、 中 间 件 、 数 据 库 和 应 用 框架 ， 且 预 集 成 通用 技术 服务 、 开 
管理 服务 等 。 应 用 运行 环境 可 由 单个 部 署 单元 组 成 ， 或 由 多 个 不 同 部 署 单元 相互 集 
成 所 形成 。 

云 服务 是 基础 设施 云 的 资源 供给 形式 ， 其 主要 目的 是 实现 资源 供给 的 标准 化 ， 其 核 
心目 标 是 将 最 佳 实践 规范 化 并 以 标准 服务 的 形式 共享 ， 进 而 提高 服务 的 可 靠 性 和 资源 的 
可 管理 性 。 







































































2.2.4 云 管理 的 定义 和 目标 


云 管理 是 以 实现 并 能 力 服务 化 为 目的 ， 是 系列 软 硬 件 应 用 方案 的 总 和 。 其 核心 理 
念 是 SOA (面向 服务 架构 ) ， 其 核心 技术 是 自动 化 流程 管理 。 
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云 管理 的 目标 是 实现 开 能 力 的 服务 化 供应 ， 并 实现 云 计算 的 各 种 特性 ， 例 如 : 资 
源 共 享 、 自 动 化 、 按 使 用 付费 、 自 服务 、 可 扩展 等 。 


2.2.5 云 管理 的 主要 功能 组 件 


云 管理 平台 通常 以 服务 目录 为 导向 梳理 各 类 IT 资源 服务 模板 ， 并 将 其 以 部 署 模式 
的 形式 与 后 台 供给 类 资源 进行 映射 ， 将 服务 项 目 与 后 台 实 体 资 源 池 进 行 关联 ， 用 户 通过 
服务 目录 选择 不 同 的 资源 请 求 项 目 ， 云 平台 接收 服务 请 求 后 通过 服务 策略 管理 模块 依照 
部 署 模式 的 描述 协调 调度 各 类 资源 池 的 分 配 以 及 环境 的 搭建 部 署 ， 并 最 终 交 付 用 户 。 资 
源 池 的 整体 使 用 情况 由 服务 策略 管理 进行 判断 及 分 配 ， 由 资源 管理 模块 进行 实体 操作 。 
云 管理 平台 主要 功能 组 件 包 括 服务 目录 、 部 署 模式 、 服 务 策 略 管理 和 资源 管理 四 大 
模块 。 

1. 服务 目录 
通过 标准 化 的 服务 目录 对 基础 设施 服务 进行 管理 ， 建 立 IT 服务 的 使 用 者 与 IT 资源 
之 间 的 标准 接口 ， 管 理 员 在 服务 目录 中 可 以 定义 、 发 布 、 更 新 和 终止 开 服务， 对 全 服 
务 的 名 称 、 描 述 、 资 源 类 别 、 资 源 规模 、 费 用 等 做 出 规定 ， 同 时 可 以 设 定 不 同 用 户 访问 
服务 目录 的 权限 。 

2. 部署 模 式 
通过 定义 部 署 模式 ， 管 理 员 可 构成 特定 服务 目录 的 区 组 件 (虚拟 机 、 软 件 、 应 用 
和 存储 ) ， 运 行 环境 (如 网 络 要 求 、 巡 检 要 求 和 监控 要 求 ) 及 其 相互 关系 。 

3. 服务 策略 管理 

服务 策略 管理 是 池 化 资源 管理 的 关键 环节 ， 该 部 分 功能 主要 负责 用 户 所 请 求 的 服务 
资源 如 何 动态 在 池 化 资源 池 中 进行 资源 的 分 配 ， 具 体 将 用 户 的 配置 要 求 落实 在 与 其 SLA 
要 求 、 地 域 要 求 、 容 量 要求 、 性 能 要 求 、 用 户 类 型 等 相 匹配 的 物理 资源 上 ， 指 导 下 一 步 
资源 管理 的 具体 部 署 。 

4. 资源 管理 

自 下 向 上 实现 计算 资源 、 存 储 资源 、 网 络 资源 的 池 化 和 纳 管 ， 自 上 而 下 实现 最 终 的 
资源 部 署 及 配置 操作 。 























2.3 DevOps 理论 


2.3.1 DevOps 理论 概述 


2.3.1.1 DevOps 含义 
DevOps 是 开发 (Development) 和 运 维 (Operations) 的 组 合 ， 是 一 组 过 程 、 方 法 与 
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系统 的 统称 ， 用 于 促进 开发 〈 应 用 程序 /软件 工程 ) 、 技 术 运营 和 质量 保障 (QA) 部 门 
之 间 的 沟通 、 协 作 与 整合 ， 如 图 2-3 所 示 。 它 的 出 现 是 由 于 软件 行业 日 益 清 晰 地 认识 
到 ， 为 了 按时 交付 软件 产品 和 服务 ， 开 发 和 运营 工作 必须 紧密 合作 。 

随 着 信息 化 深入 到 企业 生产 经 营 的 各 个 领域 ，IT 
技术 已 经 成 为 企业 降低 成 本 、 提 升 效率 和 提高 竞争 力 











的 重要 手段 ， 业 务 部 门 对 产品 交付 的 频率 要 求 越 来 越 | 忒 全 沽 本 
高 ， 同 时 伴随 着 虚拟 化 、 云 计算 和 敏捷 开发 方法 的 日 Devops 

益 普及 ， 传 统 的 软件 交付 方式 如 何 适应 新 的 需要 成 为 

一 个 重大 的 课题 。 在 传统 工作 方式 下 ， 软 件 开发 、IT rs 





运营 和 质量 保障 都 属于 各 自分 离 的 部 门 ， 开 发 与 运营 
部 门 的 诉求 点 即 工作 目标 和 工作 方式 也 是 存在 差 
异 的 。 

1) 开发 部 门 关注 的 是 快速 实现 业务 部 门 的 需求 ， 以 及 交付 新 的 产品 。 

2) 开发 人 员 很 少 考虑 新 的 代码 是 否 会 对 运 维 造成 影响 ， 同 时 运 维 人 员 基 本 上 也 不 
参与 架构 决策 或 代码 评审 。 

3) 开发 人 员 在 开发 环境 或 者 测试 环境 中 手工 修改 配置 ， 没 有 使 用 相应 的 自动 化 工 
具 支 持 ， 在 生产 环境 部 署 上 又 需要 重新 手工 配置 一 遍 ， 很 容易 出 现 丝 漏 ;而且 一 旦 需要 
回 退 时 ， 往 往 也 很 难 恢复 到 上 一 个 稳定 的 状态 。 

4) 在 开发 过 程 中 ， 系 统 在 开发 者 的 本 地 机 器 上 运行 。 在 运营 过 程 中 ， 系 统 经 常 分 
布 在 多 台 服 务 器 上 ， 例 如 Web 服务 器 、 应 用 服务 器 、 数 据 库 服务 器 等 。 

5) 运营 部 门 关注 的 是 如 何 保证 系统 能 够 持续 提供 服务 ， 确 保 系统 的 稳定 性 和 可 
靠 性 。 
6) 运营 人 员 希 望 尽量 避免 系统 修改 或 者 减 小 变更 频率 ， 从 而 保证 系统 稳定 运行 。 

7) 如 果 减 小 了 变更 频率 ， 但 在 给 定时 间 内 业务 需要 的 总 量 不 变 ， 那么 就 意味 着 每 
次 变更 的 规模 变 大 。 变 更 规模 越 大 ， 理 论 上 变更 的 风险 也 越 大 。 
显然 在 这 种 传统 的 企业 组 织 或 者 开发 方式 下 ， 开 发 部 门 与 运营 部 门 之 间 存 在 着 信息 
“鸿沟 ”， 而 这 种 信息 鸿沟 就 是 最 容易 出 问题 的 地 方 。 一 方面 可 能 延缓 业务 需求 实现 的 
交付 速度 ， 降 低 业务 部 门 的 满意 度 ; 另 一 方面 由 于 运营 人 员 对 应 用 程序 的 架构 缺乏 了 
解 ， 从 而 难以 正确 地 选择 运行 时 的 环境 和 发 布 流程 ， 而 开发 人 员 可 能 对 运行 环境 缺乏 了 
解 ， 也 难以 正确 地 对 代码 进行 调整 和 优化 。DevOps 就 是 在 这 种 背景 下 发 展 起 来 的 ， 它 
提倡 开发 团队 与 运 维 团队 之 间 的 高 度 协同 ， 在 完成 高 频率 部 署 发 布 的 同时 ， 提 高 生产 环 
境 的 可 靠 性 、 稳 定性 、 弹 性 和 安全 性 。 

2.3.1.2 DevOps 应 用 模式 

1) 将 开发 延伸 至 生产 中 ,包括 拓展 持续 集成 和 持续 交付 能 力 ， 集 成 QA 和 信息 安 
全 至 整个 工作 流 ， 确 保 代 码 和 环境 可 在 生产 中 直接 部 署 。 

2) 向 开发 中 加 入 生产 反馈 ， 持 续 的 反馈 促进 了 持续 的 改进 。DevOps 工作 流 中 ， 反 
贵 时 间 很 短 ， 所 以 用 户 可 以 尽早 地 、 更 经 济 地 进行 调整 。 在 整个 生命 周期 中 ， 开 发 和 交 
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付 团队 持续 监控 运行 质量 来 验证 软件 。 软 件 一 旦 投入 生产 ,这 些 度量 标准 就 会 捕获 客户 
体验 。 

3) 开发 融入 开 运 维 中 ,包括 开发 投入 到 整个 生产 问题 处 理 链 ， 分配 开发 资源 用 于 
生产 问题 管理 ， 而 且 开发 为 IT 运 维 提供 交叉 培训 ,增加 全 运 维 处 理 问题 的 能 力 ， 从 而 
降低 升级 问题 的 数量 。 

4) 将 代 运 维 融 入 开发 中 ,包括 分 配 IT 运 维 资源 至 开发 ， 帮 助 开 发 创建 为 开 运 
维 ， 确 保 在 产品 的 开发 阶段 就 考虑 到 产品 的 非 功能 性 需求 。 

2. 3.1.3 ”DevOps 价值 

DevOps 的 引入 能 对 企业 带 来 深远 的 影响 ， 对 产品 交付 、 测 试 、 软 件 开发 和 运 维 产 
生 积极 的 改变 和 改进 。 具 体 体 现在 以 下 几 个 方面 持续 集成 与 交付 ， 缩 短 开发 周期 和 更 
高 的 部 署 频率 ， 产 品 能 够 快速 推 向 市 场 ; 持续 质量 保证 ， 提 高 产品 的 质量 ， 提 高 产品 的 
可 用 性 ， 变 更 成 功率 ， 减 少 故 障 等 ; 提高 团队 工作 效率 ， 减 少 团 队 间 的 沟通 成 本 ， 能 够 
将 时 间 用 在 更 有 价值 的 活动 中 。 

1. 持续 集成 与 交付 

DevOps 是 对 软件 交付 模式 的 一 种 根本 性 变化 ，DevOps 的 目标 是 通过 良好 定义 的 部 
署 流水 线 将 代码 完全 自动 化 地 交付 到 一 个 经 常 使 用 的 基础 设施 上 。 其 好 处 是 可 以 更 加 快 
速 频繁 地 交付 质量 更 高 的 软件 。 用 一 种 结构 性 的 方法 将 应 用 系统 视 为 一 个 统一 的 整体 、 
能 帮助 开发 团队 进行 协调 合作 。 

持续 集成 与 持续 交付 贯穿 了 整个 应 用 生命 周期 。 持 续集 成 与 持续 交付 提供 了 一 组 务 
实 的 原则 和 实践 ， 可 用 于 实现 产品 的 频繁 变更 诉求 ， 并 使 它们 变 得 更 加 可 靠 。 频 繁 但 是 
小 的 变更 往往 比 集成 一 组 变更 要 容易 ， 而 且 如 果 一 个 小 变更 无 法 工作 ， 从 中 回 退 也 要 比 
一 组 变更 失败 并 从 它们 中 回 退 要 容易 得 多 。 持 续集 成 有 效 地 降低 了 复杂 性 并 使 得 识别 集 
成 事故 的 根本 原因 变 得 更 加 简单 。 持 续 交 付 也 以 同样 的 方式 运作 。 为 了 帮助 一 个 团队 从 
发 布 和 部 署 中 解放 出 来 ， 应 当 让 他 们 更 加 经 常 地 交付 小 的 代码 包 ， 而 不 是 过 一 段 时 间 就 
交付 一 个 大 的 代码 包 。 在 部 署 任务 方面 ， 每 周 发 布 两 次 版 本 的 团队 要 比 每 个 月 只 发 布 一 
次 版 本 的 团队 要 轻松 得 多 。 如 果 您 每 次 都 发 布 整个 系统 ， 一 个 小 集合 的 变更 风险 也 明显 
要 低 ， 即 使 问题 发 后 也 更 容易 定位 。 

从 整个 应 用 生命 周期 的 角度 看 ， 持 续集 成 和 持续 部 署 最 大 的 回报 ， 就 是 提供 了 最 新 
的 代码 可 以 被 所 有 利益 相关 者 进行 评审 的 能 力 。 里 程 碑 发 布 版 本 或 甚至 测试 发 布 版 本 都 
可 以 从 敏捷 开发 (Scrum) 迭代 中 获 益 ， 并 使 得 验证 需求 、 建 立 持续 测试 和 更 新 改善 系 
统 设 计 成 为 可 能 ， 并 证 每 一 个 利益 相关 者 得 以 积极 地 参与 到 应 用 生命 周期 管理 当中 。 同 
时 ， 这 些 变更 也 能 够 帮助 持续 改善 过 程 。 

维持 高 部 署 率 的 能 力 转化 为 企业 业务 价值 就 是 向 市 场 快 速 推出 满足 客户 需求 的 产 
品 ， 会 首先 获得 最 大 的 市 场 份额 。 这 是 快速 软件 生产 的 一 个 重要 驱动 因素 。 如 果 率 先 向 
市 场 推出 产品 ， 企 业 会 获得 很 大 的 收入 。 要 满足 市 场 需求 ，DevOps 和 快速 软件 生产 都 
必 不 可 少 。 企 业 不 仅 获得 了 重大 的 竞争 优势 ， 还 获得 了 增强 的 操作 可 预测 性 、 改 善 的 操 
作 一 致 性 和 更 低 的 成 本 ， 从 而 可 以 实现 更 高 的 利润 。 
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2. 持续 质量 保证 
通过 DevOps 关于 自动 化 配置 和 持续 部 署 方面 的 最 佳 实践 ， 开 发 人 员 、QA 专业 
人 员 和 其 他 参与 者 可 以 在 一 个 以 前 并 未 曾 有 的 低 成 本 ,而 且 与 生产 环境 相似 的 测试 
环境 中 进行 测试 。 虽然 云 计算 大 大 减 小 了 基础 设施 供给 的 难度 ,但 即使 是 私有 云 ， 
配给 虚拟 服务 器 也 经 常会 显现 一 些 特 别 的 挑战 。 系 统 专业 人 员 了 解 一 个 虚拟 机 并 不 
能 完全 准确 具备 一 台 物 理 服务 器 的 行为 ， 这 些 风 险 需要 被 理解 和 避免 。Dev0Ops 关于 
配给 测试 环境 的 能 力 和 使 用 云 资 源 来 交付 新 的 能 力 ， 如 果 已 经 具备 使 用 自动 化 规程 
配给 和 维护 这 些 环境 的 DevOps 最 佳 实践 ， 可 使 得 生产 力 和 质量 两 个 方面 都 得 到 
加 强 。 

软件 开发 团队 通常 使 用 最 新 的 技术 来 不 断 开发 产品 ， 确 保 实 现 无 错误 的 配置 和 交付 
结果 。 为 了 能 够 将 用 户 和 系统 需求 合并 到 一 致 的 软件 交付 结果 中 ， 软 件 开 发 流程 必须 始 
终 如 一 地 保证 质量 ， 永 久 地 支持 产品 迭代 和 修改 ， 并 不 断 采 用 有 效 的 软件 开发 方法 。 
DevOps 通过 涵盖 整个 开发 、 测 试 、 部 署 和 运 维 生 命 周期 端 到 端的 流程 ， 实 现 交付 可 靠 、 
安全 和 没有 缺陷 的 软件 和 系统 。 

3. 提高 工作 效率 

DevOps 旨 在 更 好 地 集成 IT 操作 和 软件 开发 ， 从 而 提高 对 业务 更 改 的 联合 响应 能 
力 。 通 过 建设 DevOps 能 力 ， 企 业 能 够 明显 感受 到 软件 产品 发 布 和 运营 过 程 中 的 质量 与 
效率 。 

更 快 的 服务 交付 ， 与 传统 的 瀑布 式 开发 模型 相 比 ， 采 用 迭代 的 工作 方式 意味 着 更 频 
繁 的 发 布 、 每 次 发 布 包含 的 变化 更 少 。 由 于 部 署 经 常 进行 ， 每 次 部 署 不 会 对 生产 系统 造 
成 巨大 影响 ， 应 用 程序 会 以 平滑 的 速率 逐渐 生长 。 与 传统 开发 方法 中 大 规模 的 、 不 频繁 
的 发 布 相 比 ， 具 备 DevOps 能 力 的 企业 大 大 提升 了 服务 交付 能 

在 开发 与 运营 团队 之 间 建 立 更 加 高 效 的 协作 关系 ， 减 少 发 布 和 运营 中 时 间 的 浪 
费 ， 提 高 了 运营 团队 的 工作 效率 。DevOps 实践 强调 改善 开发 和 运营 之 间 的 沟通 与 协 
作 这 一 目标 。DevOps 实践 增强 开发 团队 、 运 维 团 队 和 其 他 关键 利益 相关 者 之 间 的 沟 
通 。 通 过 强 有 力 的 发 布 协调 机 制 来 弥合 开发 与 运营 之 间 的 技能 鸿沟 和 沟通 鸿沟 ; 采 
用 电话 会 议 、 即 时 消息 等 协作 工具 来 确保 所 有 相关 人 员 理 解 变更 的 内 容 ， 使 用 统一 
的 流程 和 工具 ， 例 如 在 线 项 目 管理 工具 、 配 置 管理 工具 可 有 效 地 减少 或 降低 沟通 成 
本 ， 提 高 工作 效率 。 
























































2.3.2 DevOps 各 类 管理 工具 


DevOps 是 软件 开发 生命 周期 (SDLC) 从 瀑布 式 到 敏捷 再 到 精益 的 发 展 。 DevOps 
超越 了 敏捷 发 展 方式 ， 实 现 了 DevOps 涉及 软件 开发 生命 周期 的 各 个 方面 。 
1. 构建 、 打 包 和 部 署 依赖 管理 
实现 产品 的 自动 化 构建 、 打 包 和 部 署 是 DevOps 工作 的 核心 关注 点 。 许 多 软件 开 
发 人 员 完 全 埋头 在 集成 开发 环境 (Integrated Development Environments，IDE) 中 进行 
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工作 ， 例 如 Eclipse 及 Visual Studio。 问 题 是 他 们 并 不 能 真正 的 知道 和 理解 他 们 所 有 的 
构建 依赖 ， 对 于 开发 人 员 来 说 ， 仅 仅 特定 了 解 他 们 自己 的 构建 和 运行 时 依赖 是 十 分 
常见 的 。 当 这 些 开 发 人 员 转 移 到 下 一 个 项 目 时 ， 或 者 出 现 由 于 笔记 本 电脑 崩溃 而 导 
致 的 意外 时 ， 组 织 也 许 会 发 现 由 于 软件 开发 人 员 缺 失 理解 构建 、 打 包 和 部 署 代 码 所 
必需 的 知识 而 导致 工程 无 法 被 构建 。 这 就 是 构建 工程 师 经 常 被 行业 法 规 规定 为 一 个 
独立 职责 的 现实 原因 ， 因 为 他 们 可 以 通过 捕获 所 需 的 知识 来 构建 自动 化 部 署 流水 线 ， 
以 增强 产品 可 靠 性 。 

脚本 和 自动 化 构建 确保 了 编译 和 运行 时 依赖 的 核心 知识 可 以 被 发 现 和 被 文档 化 。 开 
发 人 员 可 能 由 于 时 间 太 久 遗 忘 了 被 配置 在 集成 开发 环境 里 的 所 有 环境 设 定 ， 但 是 编写 在 
编译 和 运行 环境 中 的 构建 脚本 提供 了 关于 构建 、 打 包 及 部 署 代码 核心 配置 的 一 个 清晰 和 
准确 的 视图 。 

可 以 通过 一 个 连贯 的 方式 进行 可 靠 的 构建 、 打 包 和 部 署 ， 这 对 于 确保 系统 可 以 在 不 
被 意外 和 严重 后 果 影 响 的 前 提 下 被 支持 和 修改 。 除 了 可 以 可 靠 地 构建 代码 之 外 ,我们 还 
需要 确保 已 经 验证 正确 的 代码 被 部 署 了 ， 以 及 更 加 重要 的 、 任 何 来 自 恶 意 目的 、 非 授权 
变更 或 人 为 错误 都 能 立即 被 识别 出 来 。 

2. 持续 集成 

DevOps 的 指导 思想 是 “精益 生产 ”。 随 着 软件 开发 复杂 程度 的 不 断 提高 ， 团 队 开 发 
员 彼 此 之 间 如 何 更 好 地 协同 工作 以 确保 软件 开发 的 质量 已 经 慢 慢 成 为 开发 过 程 中 不 可 
回避 的 问题 。 持 续集 成 正 是 针对 这 一 类 问题 的 一 种 软件 开发 实践 。 它 倡导 团队 开发 成 员 
必须 经 常 集成 他 们 的 工作 ， 甚 至 每 天 都 可 能 发 生 多 次 集成 。 而 且 每 次 的 集成 都 是 通过 自 
动 化 的 构建 来 验证 ， 包 括 自动 编译 、 发 布 和 测试 ， 从 而 尽快 发 现 集成 错误 ,使 团队 能 
更 快 地 开发 内 聚 软件 。 

持续 集成 的 核心 价值 在 于 : 

1) 持续 集成 中 的 任何 一 个 环节 都 是 自动 完成 的 ， 无 需 太 多 的 人 工 干 预 ， 有 利于 减 
少 重复 过 程 以 节省 时 间 、 费 用 和 工作 量 。 

2) 持续 集成 保障 了 每 个 时 间 点 上 团队 成 员 提 交 的 代码 是 能 成 功 集成 的 。 换 句 话 
说 ， 任 何 时 间 点 都 能 第 一 时 间 发 现 软 件 的 集成 问题 ， 使 任意 时 间 发 布 可 部 署 的 软件 成 为 
可 能 。 

3 ) 持续 集成 还 能 利于 软件 本 里 的 发 展 趋势 ， 这 一 点 在 需求 不 明确 或 是 频繁 性 变更 
的 情景 中 尤为 重要 ， 持 续集 成 的 质量 能 帮助 团队 进行 有 效 决 策 ， 同 时 建立 团队 对 开发 产 
品 的 信心 。 

业界 普遍 认同 的 持续 集成 的 原则 包括 : 

1) 需要 版 本 控制 软件 保障 团队 成 员 提 交 的 代码 不 会 导致 集成 失败 。 常 用 的 版 本 控 
制 软件 有 IBM Rational ClearCase 、CVS 、Subversion 等 。 

2) 开发 人 员 必 须 及 时 向 版 本 控制 库 中 提交 代码 ， 也 必须 经 常 性 地 从 版 本 控制 库 中 
更 新 代码 到 本 地 。 

3) 需要 有 专门 的 集成 服务 器 来 执行 集成 构建 。 根 据 项 目的 具体 实际 ， 集 成 构建 可 
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以 被 手工 直接 触发 ， 也 可 以 定时 启动 ， 如 每 半 个 小 时 构建 一 次 。 

4) 必须 保证 构建 的 成 功 。 如 果 构 建 失败 ， 修 复 构建 过 程 中 的 错误 是 优先 级 最 高 的 
工作 。 一 旦 修复 ,需要 手动 启动 一 次 构建 。 

3. 应 用 发 布 自动 化 

DevOps 提供 了 对 于 创建 自动 化 应 用 程序 部 署 的 能 力 来 说 最 核心 的 原则 和 规程 。 使 
用 DevOps 关于 持续 集成 和 持续 部 署 的 实践 来 创建 完全 自动 化 部 署 流水 线 ， 对 于 贯穿 整 
个 应 用 程序 部 署 生命 周期 来 说 非常 重要 。 随 着 敏捷 开发 模式 的 推出 ， 应 用 发 布 规模 逐渐 
小 型 化 ， 发 布 周期 大 幅 缩短 ， 导 致 发 布 任务 密度 大 幅 增 加 ， 以 往 缺 乏 工 具 支 撑 的 管控 模 
型 不 能 有 效 满足 当前 的 工作 任务 要 求 ， 而 且 往 往 由 于 发 布 问题 导致 业务 故障 ， 为 解决 此 
类 问题 ， 需 要 一 个 应 用 发 布 平 台 以 更 好 地 支持 应 用 部 署 任务 ， 降 低 部 署 应 用 程序 的 复 





























1) 消除 手动 的 基于 脚本 的 部 署 方式 ， 采 用 基于 工作 流 的 自动 化 部 署 方式 。 

2) 可 以 批量 在 多 台 服 务 器 上 并 行 部 署 ， 大 大 提高 部 署 的 效率 。 

3) 提高 发 布 团队 与 开发 、 质 量 和 和 运 维 团队 之 间 的 沟通 协调 能 力 ， 实 现 部 署 流程 与 
ITTL 流程 无 颖 衔接 。 

4) 与 持续 集成 工具 进行 整合 ， 实 现 一 键 式 应 用 发 布 和 服务 启 停 。 

4. 自动 化 测试 

敏捷 软件 开发 人 员 被 称 为 质量 感染 者 ， 这 是 因为 他 们 关注 于 编写 高 质量 的 代 
码 ， 渴 望 测 试 越 早 开始 越 好 。 上 自动 化 的 回归 测试 是 敏捷 团队 普遍 采用 的 实践 。 该 实 
践 有 时 又 被 扩展 为 测试 先行 的 方式 ， 比 如 测试 驱动 开发 (TDD)， 以 及 行为 驱动 开 
发 (BDD)。 由 于 敏捷 团队 经 常 一 天 多 次 运行 他 们 的 自动 化 测试 集 ， 并 且 能 够 马上 
修复 发 现 的 问题 ， 所 以 他 们 比 普通 团队 能 达到 更 高 的 质量 。 对 于 运营 人 员 而 言 ,， 在 
同意 一 个 业务 变更 发 布 到 生产 环境 前 ， 坚 持 足 够 的 质量 审查 ， 这 是 一 个 很 好 的 
习惯 。 

开源 领域 存在 很 多 优秀 的 工具 ， 合 理 地 使 用 或 者 借鉴 这 些 工具 的 经 验 能 够 帮助 我 们 
更 好 地 实践 DevOps 理论 。 

2.3.2.1 Jenkins 

Jenkins 是 一 个 开源 项 目 ， 提 供 了 一 种 易于 使 用 的 持续 集成 系统 ， 使 开发 者 从 繁杂 
的 集成 中 解脱 出 来 ， 专 注 于 更 为 重要 的 业务 逻辑 实现 上 。 同 时 Jenkins 能 够 实施 监控 集 
成 中 存在 的 错误 ， 提 供 详细 的 日 志文 件 和 提醒 功能 ， 还 能 用 图 表 的 形式 形象 地 展示 项 目 
构建 的 趋势 和 稳定 性 。 

Jenkins 提供 了 丰富 的 管理 和 配置 的 功能 ， 包 括 系统 配置 、 管 理 插件 、 查 看 系统 信 
息 、 系 统 日 志 、 节 点 管理 、Jenkins 命令 行 窗 口 、 信 息 统计 等 功能 。 

此 外 ，Jenkins 还 可 以 安装 大 量 功能 强大 的 插件 。 如 Subversion 插件 可 以 从 代码 版 本 
控制 库 (SVN) 库 中 获取 代码 ，Maven 插件 可 以 读 取 pom. xml 分 析 依赖 包 、 编 译 、 测 
试 ，Deploy Weblogic 插件 可 以 部 署 编译 测试 包 。 同 时 ，Jenkins 也 可 以 安装 ClearCase 插 
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件 ， 从 IBM CC 中 获取 代码 。 

2.3.2.2 Puppet 与 MCollective 

Puppet 是 一 种 Linux、Unix、Windows 平台 的 集中 配置 管理 系统 ， 使 用 自 有 的 Pup- 
pet 描述 语言 ， 可 管理 配置 文件 、 用 户 、 调 度 任务 、 软 件 包 、 系 统 服务 等 。Puppet 把 这 
些 系统 实体 称 之 为 资源 ，Puppet 的 设计 目标 是 简化 对 这 些 资源 的 管理 以 及 妥善 处 理 资源 
间 的 依赖 关系 。 

Puppet 采用 客户 端 / 服 务 端 (C/S) 星 状 结构 ， 所 有 的 客户 端 和 一 个 或 几 个 服务 器 
进行 交互 。 每 个 客户 端 周期 性 地 (默认 为 半 个 小 时 ) 向 服务 器 发 送 请 求 ， 并 获得 其 最 
新 的 配置 信息 ， 以 保证 与 该 配置 信息 同步 。 每 个 Puppet 客户 端 每 半 小 时 (可 以 设置 ) 
连接 一 次 服务 咒 端 ， 下 载 最 新 的 配置 文件 ， 并 且 严 格 按照 配置 文件 来 配置 服务 器 。 配 置 
完成 以 后 ，Puppet 客户 端 可 以 反馈 给 服务 需 端 一 个 消息 ， 如 果 出 错 ， 也 会 给 服务 器 端 反 
人 馈 一 个 消息 。 

MCollective 是 一 个 构建 服务 器 编排 (Server Orchestration) 和 并 行 工 作 执行 系统 的 
框架 

首先 ，MCollective 是 一 种 针对 服务 器 集群 进行 可 编程 控制 的 系统 管理 解决 方案 。 在 
这 一 点 上 ， 它 的 功能 类 似 于 Func、Fabric 和 Capistrano。 

其 次 ，MCollective 的 设计 打破 了 基于 中 心 存储 式 系统 和 像 安 全 Shell SSH 这 样 的 工 
有 具 ,不 再 仅仅 使 用 SSH 的 For 循环 。 它 使 用 发 布 订阅 中 间 件 (Publish Subscribe Middle- 
ware) 这 样 的 现代 化 工具 和 通过 目标 数据 而 不 是 主机 名 (Hostnames) 来 实时 发 现 网 络 
资源 的 现代 化 理念 ， 提 供 了 一 个 可 扩展 的 、 迅 速 的 并 行 执行 环境 。 

在 实际 应 用 中 ，Puppet 客户 端的 默认 定时 同步 功能 往往 不 能 适应 企业 的 实际 情况 ， 
而 通过 MCollective 能 够 更 加 安全 地 实现 Puppet 的 推送 更 新 功能 。 

2.3.2.3 Selenium 


Selenium 也 是 一 个 用 于 Web 应 用 程序 测试 的 工具 。Selenium 测试 直接 运行 在 浏览 
器 中 ， 就 像 真正 的 用 户 在 操作 一 样 。 支 持 的 浏览 器 包括 IE7 、IE8 、IE9 ，Mozilla Fire- 
fox，Mozilla Suite 等 。 这 个 工具 的 主要 功能 包括 : 测试 与 浏 te 
用 程序 是 否 能 够 很 好 地 工作 在 不 同 浏览 器 和 操作 系统 之 上 ; 测试 系统 功能 
退 测试 检验 软件 功能 和 用 户 需求 ; 支持 自动 录制 动作 和 上 自动 生成 Net、jJava、Perl 
不 同 语言 的 测试 脚本 。Selenium 是 ThoughtWorks 专门 为 Web 应 用 程序 编写 的 一 个 验 
收 测试 工具 。 

1) 框架 底层 使 用 JavaScript 模拟 真实 用 户 对 浏览 器 进行 操作 。 测 试 脚 本 执行 时 ， 
浏览 锅 自 动 按照 脚本 代码 做 出 点 击 、 输 入 、 打 开 、 验 证 等 操作 ， 就 像 真实 用 户 所 做 的 一 
样 ， 从 终端 用 户 的 角度 测试 应 用 程序 。 

2) 使 浏览 需 兼 容 性 测试 自动 化 成 为 可 能 ， 尽 管 在 不 同 的 浏览 器 上 依然 有 细微 的 









































3) 使 用 简单 ， 可 使 用 Java、Python 等 多 种 语言 编写 用 例 脚本 。 
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2.3.2.4 Docker 

Docker 是 一 个 开源 的 应 用 容器 引擎 ， 让 开发 者 可 以 打包 他 们 的 应 用 以 及 依赖 包 到 
一 个 可 移植 的 容器 中 ， 然 后 发 布 到 任何 流行 的 Linux 机 器 上 ， 也 可 以 实现 虚拟 化 。 容 需 
是 完全 使 用 沙 箱 机 制 ， 相 互 之 间 不 会 有 任何 接口 (类似 iPhone 的 App) 。 几 乎 没有 性 能 
开销 ， 可 以 很 容易 地 在 机 器 和 数据 中 心中 运行 。 最 重要 的 是 ， 它 们 不 依赖 于 任何 语言 、 
框架 或 系统 。 

Docker 以 其 集 装 化 技术 为 应 用 程序 带 来 便携 性 ， 在 Docker 中 ， 应 用 程序 可 以 路 平 
台 运 行 自 给 系统 。Docker 是 由 Docker 引擎 和 Docker 集 线 右 组 成 的 ， 前 者 是 一 个 轻 量 级 
的 运行 时 间 和 包装 工具 ， 后 者 则 是 应 用 程序 共享 和 工作 流程 自动 化 的 云 服务 。 





2.3.3 ”DevOps 在 企业 私有 云 中 的 应 用 前 景 


基础 设施 部 署 与 应 用 程序 部 署 一 直 是 软件 开发 生命 周期 中 两 个 重要 的 环节 ,或 者 说 
是 软件 快速 交付 的 制约 。 云 计算 的 快速 发 展 使 得 基础 设施 的 供给 周期 从 过 去 以 月 、 周 为 
单位 下 降 到 目前 的 以 小 时 、 分 钟 为 单位 ， 大 大 提高 了 基础 设施 部 署 的 效率 。 云 计算 也 给 
应 用 程序 带 来 更 多 的 可 能 性 或 者 选择 性 ， 但 是 只 有 当 应 用 程序 部 署 效 率 同 样 提升 后 才能 
实现 软件 开发 生命 周期 的 缩短 ， 而 DevOps 的 目标 就 是 提供 持续 部 署 的 能 力 ， 强 大 的 部 
署 自动 化 手段 确保 部 署 任务 的 可 重复 性 、 减 少 部 署 出 错 的 可 能 性 。 

企业 私有 云 是 一 个 企业 专用 的 云 基础 设施 ，DevOps 对 私有 云 而 言 其 核心 价值 就 是 
实现 企业 的 “业务 敏捷 性 ”和 “IT 融合 ” 。 提 高 业务 敏捷 性 使 企业 获得 快速 适应 市 场 和 
环境 变化 的 能 力 。IT 融合 使 得 企业 能 够 借助 高 效 的 开 技术 来 提高 公司 业绩 或 市 场 竞 争 
力 。 为 了 实现 DevOps 战略 ， 以 下 三 方面 需要 关注 : 

1. 统一 团队 认识 

首先 要 消除 开发 团队 与 运 维 团 队 之 间 的 “鸿沟 ”， 运 维 团队 必须 明确 地 认识 到 ， 只 
有 将 产品 快速 部 署 到 生产 环境 中 才能 实现 给 企业 带 来 最 大 的 价值 ， 提 升 企业 的 竞争 力 。 
开发 团队 也 需要 认识 到 开发 代码 或 者 更 改 配置 时 ， 可 能 会 对 整个 系统 稳定 性 和 性 能 带 来 
影响 。 其 次 开发 、 运 维 团队 所 有 当 事 方 需要 明白 ， 在 更 大 的 企业 流程 中 自己 只 是 其 中 一 
部 分 。 个 体 和 团队 的 成 功 都 要 放 在 整个 开发 运 维 生 命 周 期 内 来 进行 评价 。 团 队 应 该 围绕 
业务 系统 而 不 是 职责 来 组 织 工 作 ， 这 就 是 DevOps 打破 开 分 组 壁垒 的 寅 意 。 对 于 许多 机 
构 来 说 ， 这 是 一 个 转变 ， 每 一 个 团队 不 再 是 基于 自己 的 团队 来 评价 和 判断 业绩 好 坏 。 

2. 端 到 端的 标准 化 流程 

DevOps 涵盖 整个 开发 、 测 试 、 部 署 和 运 维 整个 生命 周期 ， 必 须 被 看 作 是 一 个 端 对 
端的 流程 。 在 流程 的 不 同 阶段 可 以 采取 不 同 的 方法 ， 只 要 这 些 流程 可 以 被 组 合 到 一 起 创 
建 一 个 统一 的 流程 。 不 同 的 企业 实现 这 个 流程 可 能 采取 不 同 的 方法 和 手段 ， 但 是 必须 要 
保证 流程 的 完整 性 。 

3. 自动 化 的 工具 支持 

DevOps 的 思想 是 提升 IT 服务 的 敏捷 性 ， 选 择 最 佳 技术 方案 ， 并 同时 利用 自动 化 工 
具 尽 量 减少 业务 生命 周期 内 的 人 工 干预 程度 是 企业 实现 DevOps 必然 之 路 。 除 非 整个 流 
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程 都 拥有 理想 工具 作为 底层 支持 ， 否 则 自动 化 工作 流程 根本 就 是 纸上谈兵 。 从 本 质 上 
讲 ， 这 些 工具 在 某 一 阶段 中 的 输出 内 容 都 要 能 够 为 下 一 阶段 的 工具 所 接纳 ， 也 就 是 说 各 
类 工具 之 间 要 能 够 顺畅 衔接 。 对 于 企业 而 言 ， 关 键 是 要 选择 一 套 适 合 自 己 的 工具 ， 确保 
自足 可 控 应 该 放 在 首要 的 考虑 因素 。 











2.4 安全 管理 模型 





目前 业界 尚 无 一 个 被 广泛 认可 和 普遍 遵从 的 国际 性 云 安全 标准 ， 主 要 有 CSA (Cloud 
Security Association ， 云 安全 联盟 ) 和 ENISA (European Network and Information Security 
Association ， 欧 洲 网 络 和 信息 安全 研究 所 ) 两 大 组 织 发 布 的 云 安全 管理 框架 可 供 参 考 。 








2.4.1 CSA 云 安 全 管理 模型 





CSA 发 布 的 “ 云 计 算 安 全 指南 ”， 从 云 服务 模型 角度 提出 了 一 个 云 计 算 安全 参考 模 
型 ， 该 参考 模型 描述 了 三 种 基本 云 服务 的 层次 性 及 其 依赖 关系 ， 并 实现 了 从 云 服务 模型 
到 安全 控制 模型 的 映射 ， 如 图 2- 4 所 示 。 
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图 2-4 云 计算 安全 参考 模型 
注 : SDLC: 软件 生命 周期 ， DLP: 数据 防 泄漏 ; CMF: 内 容 监 控 和 过 滤 ; GRC: 企业 治理 、 风 险 管理 及 合 规 
审查 ; IAM: 身份 识别 及 访问 管理 ，VAZVM: 虚拟 机 ;NIDS/NIPS: 网 络 和 人 侵 检测 系统 /网 络 人 侵 防 护 系 统 ，DPI: 
深入 报 文 分 析 DDOS: 分 布 式 拒绝 服务 ;QoS: 服务 质量 ;DNSSEC: 域名 服务 器 安全 扩展 ; OAuth: 安全 认证 ; 
RoT: 信任 根 ; APIs: 应 用 接口 ; HIDS: 主机 和 人 侵 检 测 系统 ; HIPS: 主机 入 侵 防 护 系统 ; CCTV: 闭路 电视 监控 系 
统 ; PCI: 支付 卡 产 业 ; WAF， 网 站 应 用 级 入 侵 防 御 系 统 ; IDS: 入 侵 检测 系统 ; IPS: 入 侵 防 护 系统 ， HIPPA: 健 
康 保险 可 能 性 与 定 责 法 案 ; GLBA: 金融 现代 化 法 案 ; SOX: 萨 班 斯 法 案 。 
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该 安全 参考 模型 的 重要 特点 是 云 服务 提供 商 所 在 的 等 级 越 低 ， 云 服务 用 户 所 要 承担 
的 安全 能 力 和 管理 职责 就 越 多 。 

在 SaaS 情况 下 ， 对 服务 本 身 和 提供 商 的 服务 水 平 、 安 全 、 管 控 、 合 规 性 以 及 责任 
期 望 等 有 明确 要 求 。 在 PaaS 或 Iaas 情况 下 ， 这 些 内 容 的 管理 责任 是 用 户 自 己 的 系统 管 
理 员 ， 提 供 商 对 于 安全 保护 底层 平台 和 基础 设施 组 件 以 确保 基本 服务 的 可 用 性 和 安全 
性 ， 其 具体 要 求 可 能 会 有 一 些 相 关 的 出 人 。 

云 计 算 中 的 安全 控制 机 制 与 传统 开 环境 中 的 安全 控制 机 制 没 有 本 质 的 不 同 。 不 过 ， 
云 计算 环境 下 存在 其 特有 的 安全 风险 ， 因 此 具有 特别 的 安全 关注 领域 。CSA 对 云 服务 
的 主要 安全 关注 点 分 为 治理 和 运行 两 个 领域 ， 共 涉及 12 个 具体 的 关键 域 ， 见 表 2-2。 

表 2-2 云 服务 安全 关注 领域 
























































治理 域 运行 域 
治理 和 企业 风险 管理 传统 安全 ,业务 连续 性 和 灾难 恢复 
法 律 和 电子 证 据 发 现 数据 中 心 运行 
合 规 与 设计 应 急 相 应 通告 和 补救 
信息 生命 周期 管理 应 用 安全 
可 移植 性 和 互 操作 性 加 密 和 密 钥 管理 
身份 和 访问 管理 
虚拟 比 





2.4.2 ENISA 云 安 全 管理 模型 





ENISA 也 发 布 了 云 安全 风险 评估 与 云 安 全 框架 等 相关 的 研究 成 果 ， 在 其 发 布 的 
“ 云 计算 信息 安全 保障 框架 ”中 ， 建 立 了 图 2-5 所 示 的 ENISA 云 安全 管理 模型 ， 重 点 关 
注 10 个 领域 ,为 云 发 展 和 云 安全 建设 提供 了 一 定 的 依据 。 





人 员 运营 身份 和 
安全 安全 访问 管理 








资产 业务 连续 性 | ”| 数据 和 服务 
管理 管理 可 用 性 
环境 物理 供应 链 
控制 安全 保障 





图 2-5 云 计算 信息 安全 保障 框架 
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第 3 章 
商业 云 计算 产品 


3.1 IBM 私有 云 解决 方案 


3.1.1 IBM 虚拟 化 技术 








在 当今 的 云 计算 时 代 , “虚拟 化 ”这 个 词 大 家 是 耳熟能详 了 。 但 是 ， 要 问 谁 是 虚拟 
化 的 鼻祖 ， 可 能 有 人 会 回答 错误 。 其 实 ，IBM 才 是 服务 器 虚拟 化 技术 的 先驱 。 因 为 早 在 
20 世纪 60 年 代 ，IBM 就 首次 在 其 大 型 机 上 提出 并 实现 了 服务 器 虚拟 化 ， 利 用 该 技术 实 
现 对 属于 稀有 而 昂贵 资源 的 大 型 机 硬件 的 分 区 。 氨 今 为 止 ， 虚 拟 化 和 系统 分 区 已 在 IBM 
大 型 机 系统 上 存在 了 几 十 年 ， 从 运行 08/390、z/VM、z/0S 的 IBM 大 型 机 ， 到 近 些 年 
的 IBM iSeries 和 pSeries 平台 。 最 早 使 用 虚拟 化 技术 的 是 IBM 7044 计算 机 ， 之 后 20 世 
纪 60 年 代 还 开发 了 型 号 为 Model 67 的 System/360 主机 。Model 67 主机 通过 虚拟 机 监视 
器 (Virtual Machine Monitor，VMM) 虚拟 所 有 的 硬件 接口 。 在 早期 的 计算 中 ,操作 系统 
被 称 作 Supervisor (监管 者 ) ， 能 够 运行 在 其 他 操作 系统 之 上 的 操作 系统 被 称 作 Hypervi- 
sor (超级 监管 者 ) 。 其 中 ，VMM 直接 运行 在 底层 硬件 上 , 允许 执行 多 个 虚拟 机 ( VM)， 
每 一 个 VM 运行 自己 的 操作 系统 实例 ( Conversational Monitor System ，CMS ) 。 

1999 年 IBM 公司 又 在 AS/400 基础 上 提出 了 “逻辑 分 区 (LPAR)” 技 术 和 新 的 高 
可 用 性 集群 解决 方案 。 在 POWER 管理 程序 上 运行 的 AS/400 LPAR 令 单 台 服 务 器 工作 
起 来 如 同 12 个 独立 的 服务 器 。 而 在 2002 年 ，IBM 的 AIX5L V5. 2 还 首次 包括 了 IBM 实 
现 的 动态 逻辑 分 区 (DLPAR) 。DLPAR 允许 在 无 需 重启 系统 的 情况 下 ,将 包括 处 理 器 、 
内 存 和 其 他 组 件 在 内 的 系统 资源 分 配给 独立 的 分 区 。 这 种 在 不 中 断 运 行 的 情况 下 进行 资 
源 分 配 的 能 力 不 仅 让 系统 管理 变 得 更 加 轻松 ， 而 且 因为 能 够 更 好 地 使 用 资源 而 帮助 降低 
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总 拥有 成 本 。 在 应 用 上 ，Unix 上 的 虚拟 化 也 非常 成 熟 ，IBM 的 客户 订购 的 System i5 595 
中 有 82% 具备 逻辑 分 区 功能 ，IBM 客户 管理 的 分 区 总 数 超过 45000 个 。 

3.1.1.1 服务 器 虚拟 化 技术 

IBM PowerVM 是 在 基于 IBM POWER 处 理 器 的 硬件 平台 上 提供 的 具有 行业 领先 水 平 
的 虚拟 化 技术 家 族 。 它 是 [BM Power System 虚拟 化 技术 全 新 和 统一 的 品牌 ， 包 含 的 技术 
有 逻辑 分 区 、 微 分 区 、Hypervisor、 虚 拟 IO 服务 器 、 高 级 Power 虚拟 化 ( APV) 、Pow- 
erVM Lx86 和 在 线 迁移 灵活 性 (Live Partition Mobility ) 。 

PowerVM 有 三 个 版 本 ,分 别 是 PowerVM 快速 版 (Power VM Express Edition) 、Pow- 
erVM 标准 版 (PowerVM Standard Edition) 和 PowerVM 企业 版 ( PowerVM Enterprise Edi- 
tion ) 。 

1. PowerVM 快速 版 

PowerVM 快速 版 只 能 在 IBM Power520、Power550、PS700、PS701 、PS702 、PS703 、 
PS704 、Power710 、Power720 、Power730 、Power740 、Power750 等 几 种 服务 器 上 购买 。 它 
们 的 主要 功能 包括 : 最 多 可 以 创建 三 个 分 区 ， 支 持 微 分 区 虚拟 化 功能 ， 支 持 共享 分 布 式 
容量 (Shared Dedicated Capacity)， 支 持 PowerVM Lx86 功能 ， 不 支持 多 共享 处 理 池 
(Multiple Shared Processor Pools) 、 在 线 分 区 灵活 性 (Live Partition Mobility) 和 有 效 内 存 
共享 (Active Memory Sharing) 功能 ， 分 区 创建 和 管理 使 用 IVM 工具 。 

2. PowerVM 标准 版 

PowerVM 标准 版 可 以 在 全 部 的 IBM Power 服务 器 上 购买 。 它 们 的 主要 功能 包括 : 对 
分 区 数量 没有 限制 ， 支 持 微 分 区 虚拟 化 功能 ， 文 持 共 享 分 布 式 容 量 、PowerVM Lx86 和 
多 共享 处 理 池 功能 。 不 支持 在 线 分 区 灵活 性 和 有 效 内 存 共享 功能 。 分 区 创建 和 管理 可 以 
使 用 IBM 虚拟 化 管理 (IVM) 或 者 硬件 管理 控制 台 (HMC) 工具 。 

3. PowerVM 企业 版 

PowerVM 企业 版 可 以 在 全 部 的 IBM Power 服务 器 上 购买 。 它 们 的 主要 功能 包括 对 分 
区 数量 没有 限制 ,支持 微分 区 虚拟 化 功能 ， 支 持 共 享 分 布 式 容 量 文 持 PowerVM Lx86 功 
能 ， 支 持 多 共享 处 理 池 功能 ， 在 线 分 区 灵活 性 和 有 效 内 存 共享 功能 ， 分 区 创建 和 管理 可 
以 使 用 IVM 或 者 HMC 工具 。 

共享 分 布 式 容量 ， 多 共享 处 理 池 ， 在 线 分 区 灵活 性 和 有 效 内 存 共享 功能 只 有 在 基于 
IBM POWER6/POWER7 处 理 需 的 服务 器 上 才 可 以 实现 。 

3.1.1.2 IBM 存储 虚拟 化 技术 

虚拟 存储 是 一 种 具有 智能 结构 的 系统 ， 它 将 允许 以 透明 有 效 的 方式 在 磁盘 和 磁带 上 
存储 数据 ， 统 一 管理 磁盘 空间 ， 使 存储 系统 能 够 容纳 更 多 的 数据 ， 更 多 的 用 户 可 以 共享 
同一 个 系统 。 

IBM 提供 的 存储 虚拟 化 解决 方案 是 System Storage SAN 卷 控 制 锅 (SAN Volume Con- 
troller，SVC) ，SVC 是 一 个 软 硬 件 集成 化 的 产品 ， 它 集成 了 IBM 服务 器 、 基 于 Linux 内 
核 的 存储 操作 系统 以 及 专业 的 虚拟 存储 软件 。SVC 融合 了 存储 业界 突破 性 技术 ， 通 过 
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创建 共享 的 存储 池 来 聚集 不 同 存储 系统 提供 了 的 容量 ， 从 单一 界面 管理 ,实现 异 构 磁盘 
系统 的 有 效 整 合 与 集中 管理 。SVC 提供 了 通用 的 复制 功能 ， 适用 于 所 有 存储 系统 ， 允 
许 在 不 关闭 服务 絮 的 情况 下 动态 转移 数据 。 

如 图 3-1 所 示 ，SVC 是 整个 SAN 网 络 的 控制 器 ， 将 整个 SAN 网 络 中 的 各 种 存储 设 
备 整 合成 一 个 巨大 的 “存储 池 ”， 使 用 户 充分 利用 存储 资源 并 可 按 需 分 配 存 储 空间 、 性 
能 和 功能 。SVC 的 主要 功能 包括 : 


存储 改变 不 影响 应 用 | |] |] 1 


SAN 
从 一 个 点 管理 所 
一 套 拷贝 服务 , 有 存储 系统 
适用 于 所 有 存 


系 乡 js Storage Pool 本 » 聚集 多 个 磁盘 
OB MW 


大 的 存储 池 


























到 3-1 SVC 物理 部 署 

注 : Virtual Disk; 虚拟 盘 : SAN: 存储 区 域 网 络 ( Storage Area Networking) ; SAN Volume Controller: 存储 虚 
拟 化 产品 ， 提 供 对 拉 于 SAN 内 部 的 磁盘 存储 进行 快 集中 和 卷 管理 功能 ; Advanced Copy Services: 高 级 复制 服 
务 ; Storage Pool: 存储 池 ; DS$8000: 一 款 IBM 存储 产品 ，HDS: 日 立 数 据 系 统 ， 这 里 泛 指 HDS 的 存储 产品 ; 
DS4000: 一 款 卫 M 存储 产品 ; EMC: 易 安 信 公 司 ， 这 里 泛 指 EMC 的 存储 产品 ， HP: 惠普 公司 ， 这 里 泛 指 HP 
的 存储 产品 。 

1) 构建 统一 、 合 理 的 、 高 可 扩展 的 存储 架构 。 

2) 集中 管理 存储 系统 ， 把 多 个 存储 系统 整合 成 单一 的 存储 池 ， 兼 容 市 面 上 常见 的 
主机 系统 和 存储 产品 。 

3) 简化 各 种 复杂 的 存储 系统 管理 ， 可 通过 图 形 界面 ( GUI) 管理 所 有 存储 系统 。 

4) 迁移 过 程 无 需 停机 ， 文 持 7 x24h 业务 不 间断 运行 ,迁移 过 程 中 主机 系统 和 应 
用 不 受 影响 。 

5) 提供 快照 、 数 据 复 制 等 功能 ， 做 到 跨 存 储 及 跨 地 域 的 数据 保护 。 

6) 采用 SVC 可 方便 地 帮助 用 户 实施 分 级 存储 。 

1. SVC 的 基本 概念 和 工作 原理 

SVC (SAN Volume Controller SAN 卷 控制 器 ，IBM 一 款 硬件 型 存储 虚拟 化 产品 ) 采 
用 带 内 (In- Band) 方式 进行 存储 虚拟 化 。SVC 系统 实际 上 是 一 个 集群 (Cluster) 系统 ， 
由 节点 (node) 组 成 。 一 个 SVC 系统 至 少 包含 2 个 节点 ,每 2 个 节点 组 成 一 个 输入 / 输 
出 组 (IO Group ) ， 它 用 来 为 主机 提供 输入 /输出 (1A0) 服务 。 到 现在 为 止 , 一 个 
SVC 系统 最 多 包含 8 个 节点 ， 即 4 个 输入 /输出 组 。 

在 一 个 SVC 系统 中 ， 存 储 子 系统 中 的 一 个 或 多 个 存储 单元 被 映射 为 SVC 内 部 的 
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存储 单元 管理 盘 〈Managed Disk，MDisk) ， 一 个 或 多 个 Mdisk 可 以 被 虚拟 化 为 1 个 存 
储 池 (MDG) ， 所 有 的 MDG 对 所 有 的 输入 /输出 组 均 可 见 。MDG 是 一 个 存储 池 ， 根 
据 一 定 的 分 配 策略 ， 如 条 状 化 〈Stuiped) 、 镜 像 (Image) 、 序 列 化 〈Sequential) ， 分 
配 虚拟 的 存储 单元 ， 称 为 虚拟 盘 (VDisk)。 输 入 /输出 组 以 Vdisk 为 单位 对 主机 提供 
逻辑 单元 掩 码 (LUN- Masking) ， 也 称 为 逻辑 单元 映射 (LUN-Mapping) 服务 ， 使 主 
机 可 通过 主机 总 线 适 配器 (HBA) 访问 被 提供 逻辑 单元 掩 码 服务 的 虚拟 盘 ， 如 图 3-2 
所 示 。 








主机 
逻辑 单元 映射 


Dg 局 
虚拟 盘 1 虚拟 盘 2 虚拟 盘 3 虚拟 盘 4 






存储 油 “ _ 
管理 盘 1 管理 盘 ? 


A 存储 子 系统 B 存 储 子 系 统 
图 3-2 SVC 中 的 管理 盘 和 存储 池 以 及 虚拟 盘 之 间 的 关系 


如 图 3-3 所 示 ， 在 存储 子 系统 与 主机 之 间 引 入 SVC 后 ， 主 机 所 有 的 /0 必然 要 经 
过 SVC， 相 当 于 SVC 要 接管 从 主机 过 来 的 所 有 0。 要 做 到 这 一 点 ，SVC 内 部 必须 实 
现 一 个 虚拟 层 ， 使 得 主机 仿佛 可 以 直接 访问 真正 的 物理 存储 系统 。 这 个 虚拟 层 的 实现 依 
赖 于 存储 虚拟 化 技术 。 存 储 虚 拟 化 的 基本 概念 是 将 实际 的 物理 存储 实体 与 存储 的 逻辑 表 
示 分 离开 来 ， 应 用 服务 器 只 与 分 配给 它们 的 逻辑 卷 〈 或 称 为 虚 卷 ) 打交道 ， 而 与 其 数 
据 是 在 哪个 物理 存储 实体 上 无 关 。 
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图 3-3 ”加 入 SVC 后 加 速 对 存储 子 系统 的 访问 1/0 
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2. 存储 子 系统 级 别 的 虚拟 化 

存储 子 系统 级 别 的 存储 虚拟 化 如 图 3-4 所 示 ， 使 用 主机 总 线 适 配器 ( Host Bus 
Adapter ) 例如 1394 主机 总 线 适 配器 (控制 器 ) 连接 磁盘 柜 , 通过 1394 控制 器 驱动 ， 
物理 磁盘 被 映射 为 系统 中 的 sda、sdb、sde 等 小 型 计算 机 系统 接口 (SCSI) 磁盘 块 设 
备 ， 块 设备 上 层 的 虚拟 化 在 原理 上 和 主机 级 别 子 系统 块 设备 的 虚拟 化 类 似 。 

3. 网 络 级 别 的 存储 虚拟 化 

网 络 级 别 的 存储 虚拟 化 分 为 两 种 ， 即 带 外 (Out of Band) 和 带 内 (In Band) 。 图 3- 
5 是 带 外 存储 虚拟 化 的 一 种 方式 ， 存 储 子 系统 通过 SAN 使 得 3 个 不 同类 别 的 操作 系统 在 
元 数据 服务 器 ( Metadata Server) 的 锁 机 制 控制 下 共用 存储 子 系统 中 的 3 个 存储 单元 。 
在 每 个 主机 上 ，3 个 存储 单元 被 虚拟 化 为 一 个 条 化 组 (Stripe Group) ， 使 得 各 个 主机 可 
以 采用 统一 的 条 化 (Stripe) 策略 控制 各 自 的 VO 行为 。 


卷 组 1/ ” 卷 组 |/ ” 卷 组 1 / 卷 组 2/” 卷 组 3/ 卷 组 2/ 
轴 辑 卷 1 逻辑 卷 ? 逻辑 卷 3 逻辑 卷 1 逻辑 卷 ? 逻辑 卷 3 
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LVM( 逻 辑 卷 管理 ) 驱 动 


管理 盘 0 管理 盘 1 ”管理 盘 2 


软件 磁盘 阵列 驱动 
| 虚拟 导 


sda sdb sdc 
块 设备 驱动 


光纤 电线 

















图 3-4 存储 子 系统 级 别 的 存储 虚拟 化 (如 Linux) 
注 : sd: SCSI (小 型 计算 机 系统 接口 ) 磁盘 块 设备 。 
带 内 的 方式 实际 上 是 通过 数据 通道 (Data Path) 上 的 虚拟 化 软件 ， 把 呈现 在 SAN 
中 一 个 或 多 个 存储 子 系统 的 存储 单元 虚拟 化 成 另 一 种 方式 的 虚拟 存储 单元 ， 称 为 虚拟 
盘 。 图 3-6 属于 带 内 存储 虚拟 化 。SVC 使 用 带 内 虚拟 化 方式 ， 即 SVC 把 主机 级 别 的 虚 
拟 化 实现 在 SAN 的 网 络 层次 上 加 以 实现 。 
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图 3-5 带 外 的 存储 虚拟 化 
注 ， Stripe Group: 独立 组 织 成 一 到 多 个 分 组 ; Solaris: Sun Microsystems (太阳 计算 机 系统 有 限 公司 ) 研发 的 计 
算 机 操作 系统 ; AIX: IBM 开发 的 一 套 类 UNIX 操作 系统 ;， SAN: 存储 区 域 网 (Storage Area Networking) ; FC: 光纤 
通道 (Fibre Channel) ; IP: 网 际 协议 (Intermet Protocol) 。 
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如 图 3-7 所 示 ， 传 统 的 SAN 网 络 中 ， 每 种 存储 系统 都 自 成 一 体 ， 就 像 一 个 个 独立 
的 孤岛 ， 无 法 构成 一 片 统一 的 大 陆 。 而 SVC 是 存储 业界 又 一 次 饭 新 的 突破 ， 就 像 存储 
历史 上 的 磁盘 阵列 (Redundant Arrays of Independent Disks，RAID ) ， 主 机 系统 的 存储 管 
理 体 系 和 虚拟 磁带 技术 ， 这 些 重要 的 发 明 均 源 自 IBM。SVC 是 整个 SAN 网 络 的 控制 器 ， 
它 将 整 ne 
需 分 配 存 储 空 间 、 性 能 和 功能 。 

SVC 将 存储 智能 加 入 到 SAN 网 络 中 。 现 在 用 户 可 以 按 
照应 用 不 断 变化 的 需求 来 分 配 存储 ， 而 不 再 受制 于 存储 子 系统 设备 在 功能 和 性 能 上 的 限 
制 。SVC 又 是 一 个 SAN 网 络 的 中 心 管理 控制 点 ， 而 且 它 对 服务 器 的 操作 系统 和 存储 子 
系统 是 透明 的 。 


EEE 块 虚拟 化 


和 SS A 





—— 





WY : /| al 上 他 |， 占 Pf / 
f | 中] 
Bl 6 加 恒 
将 服务 器 映射 到 具体 的 物理 盘 上 ， 将 服务 器 映射 到 虚拟 盘 上 ，， 
即 为 物理 映射 即 为 逻辑 映射 


图 3-7 存储 池 引 入 SVC 前 后 的 对 比 


3.1.1.3 IBM 软件 定义 解决 方案 

1. IBM 软件 定义 存储 解决 方案 

在 软件 定义 环境 时 代 到 来 的 时 候 ，IBM 自然 也 毫 不 例外 地 带 着 先进 的 技术 和 解决 方 
案 积 极 参与 着 。 在 软件 定义 存储 的 领域 ，IBM 及 时 推出 了 软件 定义 的 “弹性 存储 ” 技 
术 和 方案 ， 该 项 技术 将 主 存储 、 二 级 存储 和 全 闪存 技术 完美 地 结合 在 一 起 ， 通 过 软件 定 
义 提高 了 云 计算 过 程 中 数据 生命 周期 管理 的 效率 和 存储 整体 自动 化 管理 水 平 。 

弹性 存储 技术 为 企业 提供 了 空前 的 性 能 、 无 限 的 扩展 ， 并 能 够 通过 自动 将 数据 移动 
ek 未 济 的 存储 设备 上 使 存储 成 本 降低 高 达 90% 。 这 项 新 技术 源 于 IBM 研究 院 ， 它 让 

能 够 利用 (而 不 只 是 管理 ) 由 无 数 设 备 、 传 感 器 、 业 务 流程 和 社交 网 络 所 产生 的 
A WG de aa A ed ee 
大 量 信息 ， 例 如 地 震 数据 处 理 、 风 险 管理 和 人 金融 分 析 、 气 象 建 模 和 科学 研究 以 及 在 实时 
零售 中 决定 下 一 个 最 佳 行动 。IBM 研究 院 已 证 明 弹 性 存储 能 够 在 仅仅 43min 内 利用 单个 
系统 成 功 扫描 100 亿 个 文件 。 

在 其 核心 部 分 ， 弹 性 存储 以 IBM 的 通用 文件 并 行文 件 系统 (GPFS) 为 基础 来 提供 
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在 线 存储 管理 、 可 扩展 访问 以 及 能 够 管理 庞大 数据 量 和 数 十 亿 文 件 的 集成 数据 治理 工 
具 。 例 如 ， 相 对 于 标准 SAS (软件 公司 名 字 ) 磁盘 ， 弹 性 存储 还 可 以 利用 内 置 于 服务 
器 中 的 Flash 存储 来 实现 六 倍 的 性 能 提升 。 该 功能 可 识别 服务 器 内 的 Flash 存储 并 自动 
将 其 作为 高 速 缓冲 存储 器 来 提升 性 能 。 

弹性 存储 将 存储 虚拟 化 ， 允 许多 个 系统 和 应 用 共享 公用 存储 池 。 这 有 助 于 实现 透明 
的 全 球 数据 存 取 而 无 需 修改 应 用 ， 也 无 需 额 外 的 或 经 常 的 存储 管理 变更 。 由 于 弹性 存储 
不 依靠 集中 管理 来 确定 文件 的 位 置 和 布局 ， 所 以 在 发 生 软 件 或 硬件 故障 时 客户 能 确保 数 
据 存 取 的 连续 性 和 高 可 用 性 。 

另外 一 个 关键 的 指标 是 ， 其 自动 和 智能 地 将 数据 移动 到 其 他 可 用 存储 系统 上 的 能 
力 。 例如， 通过 策略 驱动 的 特性 和 实时 分 析 ， 弹 性 存储 能 够 自动 将 不 常 使 用 的 数据 移动 
到 不 太 昂 贵 的 低 成 本 磁带 驱动 机 上 ， 而 将 经 常 存 取 的 数据 存储 在 高 速 Flash 系统 上 ， 以 
便 更 快 地 进行 存 取 。 这 些 特性 可 使 企业 有 效 降低 存储 管理 成 本 。 

IBM 弹性 存储 的 其 他 特性 还 包括 : 

1) 提供 原生 加 密 及 安全 擦 除 特性 ， 满 足 合 规 性 需求 。 

2) 支持 OpenStack 云 管理 软件 ， 帮 助 客户 能 够 跨越 私有 云 、 公 有 云 和 混合 云 进 行 
数据 存储 、 管 理 及 访问 ， 实 现 全 球 数据 共享 和 协作 。 

3) 除了 支持 OpenStack Cinder 和 Swift 存 取 ， 弹 性 存储 还 支持 其 他 开放 API， 如 
POSIX 和 Hadoop。 

2. IBM 软件 定义 网 络 解决 方案 

IBM 的 软件 定义 网 络 虚 拟 化 技术 是 SDN- VE。 

1) 基于 IBM 的 DOVE 技术 。 

2) 使 用 现 有 的 IP 架构 和 现 有 的 物理 网 络 保持 不 变 。 

3) 为 虚拟 化 工作 负载 提供 基于 服务 器 的 东西 向 连接 。 

4) 为 现 有 的 非 虚 拟 化 工作 负载 提供 连接 服务 。 

5) 目前 发 布 的 版 本 文 持 VMware 和 RHEL KVM 的 Hypervisor。 

6) 目前 发 布 的 版 本 支持 16000 个 虚拟 网 络 和 128000 个 终端 (VMs ) 。 

IBM SDN (软件 定义 网 络 ) 的 优势 在 于 : 

1) IBM SDN-VE 基于 VXLAN 标准 报 文 格式 。 

2) IBM SDN-VE 控制 面具 有 可 扩展 性 。 

3) IBM SDN- VE 不 需要 物理 网 络 的 IP 组 播 支持 。 

IBM SDN 流 表 控 制图 如 图 3-8 所 示 。 从 现 有 主流 的 SDN 覆盖 〈(SDN overlay 解决 方 
案 厂 商 来 看 ，IBM overlay 解决 方案 提供 了 更 加 丰富 的 功能 ， 下 面 是 一 个 IBM 和 其 他 厂 
商 的 差异 化 对 比 。 首 先 ，IBM 解决 方案 不 需要 特殊 的 硬件 ， 从 而 极 大 地 降低 了 总 体 拥有 
成 本 ， 而 VMware 和 Cisco 等 厂商 都 需要 软件 许可 证 (License ) 或 者 特殊 硬件。 其 次 ， 
IBM 采用 Openday light 的 开源 解决 方案 ， 所 有 源 代 码 都 是 开源 的 。 用 户 可 以 按照 需要 使 
用 并 修改 源 代码 ， 甚 至 通过 将 源 代码 提交 到 社区 来 影响 Opendaylight 的 架构 ， 然 而 Cis- 
co 、VMware 等 厂商 都 是 非 开源 的 。 第 三 ，IBM SDN 解决 方案 支持 多 种 虚拟 化 平台 ， 而 
不 是 绑 定 在 某 一 个 虚拟 化 平台 之 上 。 
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DMAC | SMAC | sIP(V | DPIPCV | pavoad 
从 本 端 VM 发 送 到 和 远 端 的 VM 的 原始 报 文 (VM-R)I(VML)| MLIP)IM RIP)| ™Y° 
DMAC |SMAC | SIPCV | DIPCV | pavioad 
(VM-R)ICVMAL)| MLIP) IM-RIP)| Yo°% 
人 | 


和 Y SDN VE vSwitch SDN VE vSwitch 
在 SDN VE 虚拟 网 络 中 的 交 应 用 数据 


换 机 /路 由 SDN VE 虚拟 网 








人 | 





现 有 IP 网 络 中 的 交换 路 由 现 有 了 PP 网 络 的 负载 :常规 的 UDP 


四 | 图 图 Reserved (24-bits) 
SDN VE VNID(24-bits) Reserved (8-bits) 


图 3-8 ”IBM SDN 流 表 控制 图 

注 : VM: 虚拟 机 (Virtual Machine); DMAC (VM-R): 直接 存储 器 存 取 通 道 ( Direct Memory Access Channel); 
SIP (VM-LIP) : Session Initiation Protocol， 会 话 初始 协议 ; DIP (VM-RIP): 双 列 直 插 式 组 装 ( Double In-line Pack- 
age) ; Payload: 有 效 载荷 ，SDN VE: SDN (Software Defined Networking) 软件 定义 网 络 , SDN VE 用 于 虚拟 环境 的 软 
件 定义 网 络 ;，vSwitch: 虚拟 交换 机 ; SDN VE vSwitch: 用 于 虚拟 环境 的 软件 定义 网 络 虚拟 交换 机 ; SDN VE Routing: 
SDN 虚拟 路 由 ; SDN VE Header (VXLAN): 用 于 虚拟 环境 的 软件 定义 网 络 虚拟 接头 (虚拟 可 扩展 局 域 网 ) ;SDN 
VE Virtualized Network: 用 于 虚拟 环境 的 软件 定义 的 虚拟 网 络 ，Hypervisor， 系统 管理 程序 ，Existing IP Network: 现 
在 的 IP 网 络 ; UDP packet: 用 户 数据 报 协议 (User Datagram Protocol) 包 ; VXLAN/SDN-VE Header: 虚拟 可 扩展 局 
域 网 /软件 定义 网 络 -虚拟 接头 ; Reserved (24-bits) : 保留 24 位 ; Reserved (8-bits) : 保留 8 位 。 






























































3.1.2 ” IBM 云 管理 技术 特性 和 应 用 场景 


大 型 企业 包括 银行 在 内 的 私有 云 环 境 管理 ， 应 该 包含 从 IaaS、PaaS 到 SaaS 的 各 个 
层面 。 云 不 是 为 建 而 建 的 ， 最 终 在 云 上 将 运行 各 种 应 用 系统 ， 用 户 通过 所 谓 “ 云 + 端 ” 
的 端 ( 即 包括 网 络 、 移 动 等 各 种 渠道 ) 来 访问 的 。 要 保证 一 个 企业 云 的 稳定 、 安 全 和 
健壮 ， 就 需要 一 个 强大 的 管理 体系 和 管理 平台 来 支撑 。 

Iaas 的 管理 是 指 对 包括 计算 、 存 储 、 网 络 在 内 的 基础 资源 层 的 管理 。Paas 的 管理 
是 指 对 于 各 种 中 间 件 软件 、 系 统 软件 的 管理 ， 例 如 : 包括 数据 库 、ETL 工具 、 分 析 挖 掘 
工具 、 非 结构 化 处 理工 具 、 大 数据 分 析 等 在 内 的 数据 处 理 和 分 析 类 软件 ， 以 及 包括 应 用 
服务 器 、 企 业 服 务 总 线 、 业 务 流程 引擎 、 规 则 引擎 等 在 内 的 各 种 中 间 件 。 而 Saas 的 管 
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理 是 指 对 各 种 最 上 层 应 用 的 管理 ， 包 括 如 何在 云 的 环境 下 ， 做 到 真正 满足 云 特征 应 用 的 
开发 、 测 试 和 部 署 。 因 为 在 云 计算 时 代 ， 云 应 用 的 上 线 周 期 是 很 短 的 ， 尤 其 是 移动 类 的 
应 用 ， 版 本 更 迭 频率 极 高 。 由 于 底层 资源 保证 了 随 需 供 给 、 弹 性 伸缩 ， 就 要 求 上 层 应 用 
能 够 快速 开发 、 快 速 部 署 ， 完 全 体现 思路 敏捷 性 。IBM 银行 业务 云 平 台 如 图 3-9 所 示 。 
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图 3-9 ”IBM 银行 业务 云 平台 


基于 上 述 思路 ，IBM 的 云 管理 解决 方案 分 为 两 大 部 分 : 一 部 分 是 针对 资源 层 和 中 间 
件 层 的 管理 ， 解 决 方案 的 名 称 为 SmartCloud Orchestrator (SCO) ;， 另 一 部 分 是 针对 云 应 
用 开发 、 测 试 、 部 署 的 高 度 自动 化 的 工具 UrbanCode 系列 。 

1. 资源 层 和 PaaS 层 管理 一 SCO 

SCO 底层 利用 OpenStack EE 实现 对 计算 、 存 储 、 网 络 资源 的 自动 部 署 ， 以 及 管理 
平台 和 资源 池 的 高 扩展 性 ; 通过 集成 自动 化 流程 引擎 ， 实 现 对 部 署 过 程 的 全 流程 控制 和 
SCO 的 高 可 集成 性 ; 通过 集成 模式 引擎 ( Pattern Engine) ，SCO 能 实现 对 系统 和 应 用 模 
式 的 设计 、 管 理 和 部 署 功能 ， 使 得 在 传统 环境 需要 数 天 或 数 周 才能 完成 的 应 用 部 署 缩短 
到 几 个 小 时 。SCO 技术 架构 如 图 3-10 所 示 。 

2. 开放 的 可 扩展 的 资源 池 管 理 

SCO 是 一 个 开放 的 、 可 扩展 的 资源 池 管 理 平 台 ， 基 于 业界 标准 的 管理 平台 Open- 
Stack 的 接口 实现 各 个 逻辑 组 件 之 间 的 互 连 互通 。SCO 逻辑 架构 如 图 3-11 所 示 。 

SCO 在 Iaas 层 对 于 不 同 的 虚拟 机 管理 程序 的 支持 ， 是 通过 OpenStack 来 实现 的 ， 不 
仅 支 持 Xen、KVM、Hyper-V、WMware 等 基于 X86 体系 的 虚拟 机 拟 管理 程序 ， 更 能 
支持 PowerVM 、ZVM 等 小 型 机 的 虚拟 机 管理 程序 。SCO 同时 集成 了 监控 、 备 份 与 恢复 、 
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安全 控制 等 模块 ， 为 整个 云 运行 环境 提供 了 完整 的 解决 方案 。 


IBM 的 IT 管 理 员 
管理 组 件 ITM) 


智能 云 成 本 管理 
(SCCMD 


自动 化 引 警 
BPM 进 程 服务 器 










亚马逊 
EC2 


图 3-10 ”SCO 技术 架构 


注 : BPM 一 Business Process Management , 业务 过 程 管理 。 


TOSCA | 


多 房 应 用 OASISQ、_ 
> 国 | 








OpenStack 


图 3-11 SCO 逻辑 架构 
注 : VMWare: 虚拟 机 软件 ; Xen: 虚拟 机 管理 程序 名 ; Hyper-V: 虚拟 机 ; KVM: 基于 内 核 的 虚拟 
机 (KVirtual Machine) ; Z VM: IBM 虚拟 机 名 称 。 
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IBM 作为 OpenStack 的 基金 会 的 铂金 会 员 ， 目 标 是 帮助 OpenStack 平台 的 进步 ， 维 
持 一 个 充满 活力 的 生态 系统 ， 我 们 推荐 云 用 户 以 及 云 提 供 商 的 Iaas (基础 设施 即 服务 ) 
平台 首选 使 用 OpenStack。 

3. 通过 业务 流程 管理 工作 负载 

每 个 域 的 资源 ， 例 如 计算 域 的 计算 资源 、 存 储 域 的 存储 资源 、 网 络 域 的 网 络 资源 都 
有 其 生命 周期 ， 同 时 ， 针 对 这 些 资源 ， 需 要 监控 并 进行 IT 资产 管理 、 配 置 管理 和 运行 
维护 请 求 的 管理 ， 通 过 业务 流程 (Orchestration Engine) 可 以 把 这 些 资源 以 及 针对 监控 、 
管理 、 运 维 等 服务 进行 有 机 整合 。SCO 功能 组 件 如 图 3-12 所 示 。 


存储 域 IT 资产 管理 
计算 域 











忆 Fi ~ 
u 
服务 台 
Tt > 








供给 模式 【一 二 > 2。 





在 线 资源 编排 CPU、 存 储 和 负载 编排 优化 和 操作 
网 络 供给 、 管 理 负载 感知 布局 














图 3-12 ”SCO 功能 组 件 





4. 运 维 管理 

SCO 运 维 平台 可 以 提供 IT 资产 管理 、 配 置 管 理 、 流 程 管 理 (包括 事件 、 问 题 、 变 
更 等 ) 的 服务 ,结合 监控 ， 为 数据 中 心 的 稳定 运行 提供 强 有 力 的 保证 。SCO 功能 示意 
图 如 图 3-13 所 示 。 

5. 统一 的 IaaS 网 关 

IBM 基础 架构 云 快速 部 署 解决 方案 套件 SCO 的 Iaas 网 关 (IaaS Gateway) 模块 ， 管 
理 了 各 种 不 同类 型 的 资源 池 。 通 过 IaaS 网 关 可 调用 不 同 的 资源 池内 的 服务 ， 其 原理 架 
构 如 图 3-14 所 示 。 

SCO Iaas 网 关 模 块 对 上 层 应 用 ， 提 供 了 统一 的 遵循 OpenStack 规范 的 标准 接口 ;对 
下 层 资 源 池 的 管理 则 集成 了 各 个 不 同类 型 的 资源 池 。SCO Iaas 网 关 资 源 池 集 成 原理 如 
图 3-15 所 示 。 

SCO IaaS 网 关 模 块 将 不 同类 型 的 资源 池 的 服务 ， 统 一 到 服务 目录 (Service Catalog ) 
中 并 对 外 集中 提供 相关 服务 。SCO Iaas 网 关 服 务 提供 集成 原理 如 图 3-16 所 示 。 

6. 镜像 管理 

SCO 镜像 管理 模块 通过 OpenStack 的 标准 接口 REST 接口 与 IaaS 网 关 互 连 ， 接 收 
Iaas 网 关上 的 指令 后 ， 可 以 管理 不 同类 型 的 资源 池上 的 本 地 镜像 以 及 远 端 镜像 ，SCO 镜 
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Integration with 
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Multi-VM Pattern Deployment Tap 


Cross- Hypervisor support 
Cross —platform suppotr 
Storage,Network Support 


3-13 SCO 功能 示意 图 





Dev/Test User: 开发 、 测 试用 


注 : 
Request Multi- VM Pattern : 请 求 多 虚拟 机 模式 ; Request Software Deployment (to server ) : 请 求 软件 部 署 到 服务 器 ; 





Patch/Upgrade SW on Server or VM: 

issue (open ticket) : 报告 问题 ( 打 
Desk Change Mgr: 控制 台 变更 经 理 ; 
Asset & SW License Mgmt: 控制 台 工 























olution & problem diagnostics (via runbooks and fixlets ) : 


tion，Escalation， 提取 ， 扩 大 ; SW License: SW 认证 ; 


户 ; IT User or IT Staff: IT 用 








户 或 工作 人 员 ; Request VM: 请 求 虚拟 机 ; 


民 务 器 或 虚拟 机 上 补丁 /更 新 ; Search Solutions KB: 搜索 解决 方案 KB; Report 
罚单 ) ;Control Desk Service Catalog Admin: 控制 台 服 务 目录 管理 员 ; Control 
Control Desk Incident- Problem Mgmt: 控制 台 事件 - 问题 经 理 ; Control Desk IT 
三 资产 &SW 认证 经 理 ; SmartCloud Control Desk: 智能 云 控制 台 ; Incident res- 














事件 解决 & 问题 诊断 (通过 手册 和 解决 方案 ) ; Notifica- 
SW License Audit Reports: SW 认证 审计 报告 Integration 








with purchasing : 与 采购 整合 ; IBM SCE: 一 种 云 解决 方案 ; Amazon EC2 : Amazon Elastic Compute Cloud 亚马逊 弹 





性 计算 云 ; Tivoli Demo Library: 演示 库 ; RackSpace: 





公有 云 ; IBM SmartCloud Provisioning: IBM 智能 云 供应 ; 


IBM SmartCloud Orchestrator:， IBM 智能 云 协 调 器 ; Muti-VM Patterm Deployment: 多 VM 模式 部 署 ，Cross- Hypervisor 
support: 跨 Hypervisor 支持 ; Cross-platform support: 跨 平台 支持 ;Storage，Network suppor: 存储 ， 网 络 支 持 ; 
Openstack : 一 个 云 平 台 管 理 的 项 目 ; Compute: 计算 ; Networking: 网 络 ; Storage: 存储 ; IBM Pure Systems: IBM 
纯 系 统 ; VMware vSphere: 云 计算 操作 系统 ; VMware vCloud: 虚拟 云 基础 架构 ; KVM: 基于 内 核 的 虚拟 机 (KK 
Virtual Machine) ; IBM SmartCloud Entry: IBM 智能 云 条 目 。 








像 管 理 功能 原理 如 图 3-17 所 示 。 








SCO 镜像 管理 模块 提供 注册 新 的 扩展 镜像 服务 ， 并 整合 所 有 其 他 云 的 镜像 注册 服 
务 ; 实现 OpenStack 的 vi 各 的 REST 的 API 接口 ， 提 供 其 他 额外 属性 (如 操作 系统 


信息 ) ; 除了 标准 镜像 服务 的 API 服务 ， 还 


提供 了 可 使 镜像 元 数据 检索 的 服务 。IBM 基 


础 架构 云 快速 部 署 解决 方案 套件 SCO 的 镜像 管理 模块 接口 示意 图 如 图 3-18 所 示 。 
7. 利用 IBM 特有 的 Pattern 模式 实现 Paas 功能 





SCO PaaS 模块 可 以 部 署 用 户 所 需要 的 应 用 系统 
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IaaS 网 关 





管 





注 : Hypervisors: 


| 
| 
开源 式 的 应 用 程序 编程 接口 









图 3-15 SCO laas 网 关 资 源 池 集 成 原理 


图 3-19 所 示 。 

SCO PaaS 模块 定义 好 部 署 的 虚拟 机 类 型 和 虚拟 机 上 所 需 安 装 的 软件 堆栈 ， 根 据 拓 
扑 结构 ， 可 以 自动 部 署 并 得 到 用 户 所 需要 的 平台 。SCO 应 用 系统 拓扑 结构 示意 图 如 图 
3-20 所 示 。 

8. 云 应 用 管理 - Urban Code 

我 们 知道 ， 企 业 应 用 ( Enterprise Application) 是 指 运行 在 操作 系统 和 中 间 件 之 上 ， 
实现 特定 业务 逻辑 的 软件 发 布 包 和 业务 数据 ， 与 之 对 应 ， 企 业 应 用 部 署 〈Enterprise Ap- 
plication Deployment) 是 把 企业 应 用 部 署 在 一 台 或 多 台 计 算 机 的 操作 系统 或 中 间 件 上 ， 
从 而 可 以 提供 一 个 可 供 测 试 、 培 训 和 生产 的 运行 环境 。 
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P2P dif 


metadata 








disks for local images 

















disks for remote images and instances 
图 3-17 ”SCO 镜像 管理 功能 原理 
注 : IWD: 工作 负载 部 署 软件 (IBM Workload Deployer); SWI: 磁 敏 感 加 权 成 像 (susceptibility weighted ima- 
ging) ; Shim: 填充 层 ; IaaS GW: IaaS 网 关 ; Open Stack (0S) : 开源 架构 ; VIL: 垂直 注入 逻辑 ( Vertical Injection 














Logic) ; VC: 虚拟 计算 机 ; VMC: 虚 存 计算 机 ( Virtual Memory Computer); KVM: 基于 内 核 的 虚拟 机 (K Virtual 
Machine) ; Xen: 一 虚拟 机 管理 程序 名 ; Hyper-v: 虚拟 机 ; IaaS REST APIs: laaS 数据 接口 ，Metadata: 元 数据 ; 
Disk for local images: 本 地 磁盘 图 像 ，Connector: 连接 器 ; Proxy: 代理 服务 器 ; Crawler， 扑 行 器 ; P2P diff: P2P 扩 
散 器 ;disk for local images: 本 地 磁盘 图 像 ，disk for remote images and instances: 远程 磁盘 图 像 和 实例 。 

当前 ， 企 业 尤 其 是 银行 业 ， 为 了 应 对 新 技术 带 来 的 市 场 快 速 变化 ， 需 要 将 业务 的 流程 
调整 和 创新 尽快 交付 到 业务 部 门 或 终端 用 户 ， 这 就 需要 提高 软件 的 持续 交付 能 力 ， 包 括 交 
付 速 度 、 交 付 成 本 、 交 付 质 量 和 体验 等 方面 。 而 企业 应 用 部 署 是 软件 持续 交付 (Continu- 
ous Delivery) 的 重要 环节 ， 当 所 需要 交付 的 企业 应 用 部 署 架构 复杂 (比如 多 机 ) 、 部 署 环 
境 多 (比如 开发 、 测 试 、 生 产 环 境 ) 和 部 署 频率 高 (比如 每 周一 次 ) 时 ， 如 何 提高 企业 
应 用 部 署 的 效率 和 质量 ， 对 企业 信息 化 能 否 快速 满足 业务 需求 的 快速 变化 至 关 重 要 。 

然而 ， 当 前 很 多 同行 在 企业 应 用 部 署 方法 体系 上 缺少 完善 的 管理 信息 模型 ， 在 工具 
上 和 采用 手工 编写 和 执行 部 署 脚本 。 这 种 传统 的 应 用 部 署 方式 会 导致 部 署 效率 不 高 ， 对 部 
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»Service 1 
"Endpoint 1 
*Service 2 
“Endpoint 2 
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“Endpoint-N 
"VIL Service 
“VIL Endpoint 





Keystone 





Glance(*)APIls | | Glance(*)AP!ls Glance(*)APIls Glance(*)APls (2H 











图 3-18 SCO 镜像 管理 模块 接口 示意 图 

















注 ， Exploiter (IWD) : 开发 者 (工作 负载 部 署 软 件 IBM Workload Deployer); laaS Gateway: IaaS 网 关 ; 
Keystone: 基石 ; Service: 服务 ; Endpoint 终点 ; VIL Service: VIL 服务 ;VIL Endpoint: VIL 终点 ; Extensions: 
扩展 ; OpenStack: 开源 架构 ; EC2: 弹性 计算 云 ;， New York: 纽约 ; Rome: 罗马 ; US: 美国 ;Each cloud can 
potentially register services for compute ，iamge ，identity: 每 一 个 云 都 能 潜在 的 为 计算 、 镜 像 、 身 份 注册 服务 。 


3 
| 
时 | 


图 3-19 ”SCO 应 用 系统 平台 示意 图 

注 ;: HTTP Server: HTTP 服务 器 ; WAR File: 一 个 网 络 应 用 程序 资源 或 一 个 实例 ;Application Server: 应 用 服务 
器 ; Caching Server: 缓存 服务 器 ; LDAP: 轻 量 级 目录 访问 协议 ; Database: 数据 库 ，Schema: 架构 。 

署 过 程 缺 乏 管 控 ， 对 部 署 结果 缺乏 审计 。 这 将 导致 版 本 发 布 和 部 署 上 线 成 为 整个 软件 交 
付 流 程 的 瓶颈 之 一 。 

而 建立 在 云 平台 上 的 基础 架构 使 开 在 基础 资源 和 环境 管理 层面 都 具备 了 足够 的 灵 
活性 和 弹性 ， 但 如 果 无 法 与 业务 的 持续 交付 结合 起 来 ， 那 么 也 就 无 法 真正 全 面 发 挥 云 平 
台 的 价值 。 为 了 适应 云 环境 下 应 用 开发 和 交付 的 特征 和 需求 ， 并 充分 发 挥 云 对 业务 交付 
的 支撑 价值 ， 必 须 将 DevOps 技术 运用 到 云 应 用 管理 层面 。DevOps 的 典型 特征 是 以 自动 
化 为 基础 ， 打 破 部 门 之 间 的 壁 至 ， 进 行 软件 的 持续 交付 和 持续 创新 ， 并 快速 获取 客户 反 
馈 ， 形成 以 软件 交付 为 核心 的 企业 竞争 力 ， 这 样 才 能 真正 发 挥 企业 云 平 台 的 整体 实力 。 

IBM UrbanCode Deploy (UCD) 是 IBM 应 用 的 自动 化 部 署 工 具 。 该 工具 基于 一 个 完 
善 的 应 用 部 署 自动 化 管理 信息 模型 ， 提 供 可 视 化 的 部 署 逻辑 设计 手段 ， 并 通过 远程 代理 
技术 ， 实 现 对 复杂 应 用 在 不 同 环境 下 的 自动 化 部 署 。IBM UrbanCode Deploy with Pattern 
(UCDP) 是 在 UCD 基础 上 针对 云 平台 部 署 的 增强 功能 ， 它 能 够 帮助 企业 将 云 平台 上 基 
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What system deploys 


\ 


What deployer defines 





Load balancer 


Database — 和 
Ws 
犁 Scaling Policy 


| 
| Web Application 区 User Registry 


User Registry 























Initial instance=3 


WAS cluster configured with session replication 


图 3-20 ”SCO 应 用 系统 拓扑 结构 示意 图 

















注 : What deployer defines: 部 署 者 定义 什么 ; What system deploys: 系统 部 署 什么 ; Web Application: Web 应 用 ; 

Scaling Policy: 衡量 策略 ;Database: 数据 库 ，User Registry: 用 户 注册 ; Initial instance =3: 初始 化 实例 等 于 3; Load 
balancer: 负载 均衡 器 ; IBM HTTP Server: IBM HTTP 服务 器 ;WebSphere Application Server: 应 用 服务 器 WebSphere; 
DB2: 二 代数 据 库 ， LDAP:; 轻 量 级 目录 访问 协议 ，Monitoring Life cycle management: 监控 生命 周期 管理 ，WebSphere 
Extreme Scale: WebSphere 极限 规模 ，WAS cluster configured with session replication: WAS 集群 配置 会 话 复制 。 
础 设施 的 部 署 和 应 用 的 部 署 集成 起 来 ， 实 现 一 键 式 全 栈 部 署 。 同 时 ，UCD 还 可 通过 插 
件 方式 实现 向 PaaS 平台 部 署 服 务 和 应 用 、 向 移动 终端 部 署 应 用 。 和 总之， 通过 UCD 和 
UCDP 可 以 实现 混合 云 和 终端 的 统一 部 署 管理 ， 帮 助 企 业 实 现 从 传统 IT 向 基于 云 和 终 
端 转型 ， 也 为 长 期 拥有 多 种 类 型 环境 的 企业 提供 统一 的 应 用 发 布 和 部 署 管理 平台 。UCD 
功能 示意 图 如 图 3-21 所 示 。 









































UCD 不 仅 是 一 个 实现 应 用 部 署 自动 化 的 工具 ， 还 是 一 个 服务 于 系统 工程 师 (负责 
部 署 环 境 的 系统 管理 ) 、 发 布 工 程 师 (负责 应 用 的 部 署 逻 辑 设 计 )、 部 署 工程 师 (负责 








执行 应 用 部 署 ) 和 质量 工程 师 (负责 应 用 部 署 前 和 部 署 后 的 质量 审计 ) 等 多 个 角色 的 
管理 平台 。 该 平台 所 提供 的 功能 

1) 环境 管理 ， 实现 对 被 部 署 机 器 以 及 所 提供 资源 ( 比如， 数据 库 、 中 间 件 等 ) 的 
管理 。 

2) 组 件 管理 : 实现 对 应 用 部 署 组 件 ( 比如， 企业 应 用 的 安装 包 、 数 据 更 新 脚本 等 ) 
的 维护 ， 以 及 组 件 部 署 逻 辑 (比如 ， 如 何在 Tomcat 上 安装 一 个 发 布 包 ) 的 可 视 化 设计 。 

3) 应 用 管理 : 实现 企业 应 用 的 维护 、 关 联 组 件 以 及 如 何 编排 多 个 组 件 的 部 署 逻 辑 
来 完成 整个 应 用 的 部 署 逻 辑 。 

4) 执行 管理 : 实现 应 用 部 署 环境 的 定义 、 资 源 的 映射 以 及 应 用 部 署 的 执行 。 

5) 仪表 盘 : 实现 对 应 用 部 署 的 统计 分 析 ， 包 括 成 功 、 失 败 统 计 分 析 以 及 部 署 时 长 
统计 分 析 等 。 

6) 部 署 文件 管理 : 实现 对 部 署 文件 的 集中 存储 ， 版 本 比 对 等 功能 。 
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图 3-21 UCD 功能 示意 图 

注 ，BlueMix 一 种 开放 式 标准 的 云 平台 ， 用 于 构建 、 运 行 和 管理 应 用 程序 与 服务 ，IBM System z: 企业 级 服务 器 。 

7) 插件 管理 : 实现 对 可 重用 部 署 步骤 的 管理 ， 并 可 自 定义 可 重用 的 部 署 步骤 。 

8) 系统 管理 : 实现 用 户 、 组 、 角 色 、 团 队 的 管理 ,定义 完善 的 权限 策略 。 

在 UCD 的 基础 上 ， 为 了 完全 适应 云 计算 的 环境 ，IBM 又 推出 了 UCDP 解决 方案 ， 
该 方案 是 专门 针对 云 环 境 而 设计 的 。 它 的 底层 支持 OpenStack 等 开放 标准 ， 是 一 套 完整 
的 云 环境 下 应 用 的 管理 与 部 署 方案 

它 提供 了 用 于 绘制 环境 蓝图 的 图 形 化 编辑 器 和 进行 代码 编写 的 文本 编辑 器 ， 用 户 可 
以 通过 “ 拖 搜 ”一 “修改 属性 ”一 “编辑 代码 ”的 方式 在 不 同 的 云 环境 中 设计 、 部 署 
或 更 新 一 个 “全 栈 式 ”的 环境 ， 还 可 以 与 UCD 集成 实现 应 用 程序 到 云 环境 的 端 到 端的 
持续 交付 管道 。 我 们 可 以 使 用 UCDP 管理 程序 负载 ， 从 而 获得 从 计算 资源 级 到 程序 级 的 
更 高 级 别 的 控制 ; 还 可 以 利用 改进 的 协作 生命 周期 管理 和 可 移植 云 来 快速 地 设计 、 部 署 
和 重用 环境 。UCDP 通过 自动 提供 云 环 境 加 速 了 应 用 程序 的 开发 部 署 。 

















3.2 VMware 私有 云 解 决 方案 


3.2.1 VMware 虚拟 化 技术 


3.2.1.1 基于 vSphere 的 虚拟 数据 中 心 基础 架构 
基于 VMware vSphere 的 虚拟 数据 中 心 由 基本 物理 构建 块 (例如 X86 虚拟 化 服务 器 、 
065 
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存储 髓 网 络 和 阵列 、IP 网 络 、 管 理 服 务 器 和 桌面 客户 端 ) 组 成 。vSphere 数据 中 心 的 物 
理 拓扑 如 图 3-22 所 示 。 


vSphere 


VCenter 服务 器 vSphere 客户 端 网 络 客户 端 终端 





服务 器 组 1 服务 器 组 2 服务 器 组 3 
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光纤 通道 交换 机 架构 /IP 网 络 





存储 阵列 存储 阵列 存储 阵列 
3-22 ”vSphere 数据 中 心 的 物理 拓扑 


vSphere 数据 中 心 拓扑 包括 下 列 组 件 : 

1. 计算 服务 器 

在 裸 机 上 运行 ESXi 的 业界 标准 X86 服务 器 。ESXi 软件 为 虚拟 机 提供 资源 ， 并 运 
行 虚拟 机 。 每 台 计 算 服 务 器 在 虚拟 环境 中 均 称 为 独立 主机 。 我 们 可 以 将 许多 配置 相似 的 
X86 服务 器 组 合 在 一 起 ， 并 与 相同 的 网 络 和 存储 子 系统 进行 连接 ， 以 便 提供 虚拟 环境 中 
的 资源 集合 (又 称 为 群集 ) 。 

2. 存储 网 络 和 阵列 光纤 通道 

SAN 阵列 、iSCSI SAN 阵列 和 NAS 阵列 是 广泛 应 用 的 存储 技术 ，VMware vSphere 文 
持 这 些 技术 以 满足 不 同 数据 中 心 的 存储 需求 。 存 储 阵列 通过 存储 区 域 网 络 连 接 到 服务 器 
组 并 在 服务 器 组 之 间 实 现 共享 。 此 安排 可 实现 存储 资源 的 聚合 ， 并 在 将 这 些 资 源 置 备 给 
虚拟 机 时 使 资源 存储 更 具 灵 活性 。 

3. IP 网 络 

每 台 计 算 服 务 姨 都 可 以 有 多 个 物理 网 络 适 配 右 ， 为 整个 VMware vSphere 数据 中 心 
提供 高 带宽 和 可 靠 的 网 络 连接 。 
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4. vCenter Server 

vCenter Server 为 数据 中 心 提供 一 个 单一 控制 点 。 它 提供 基本 的 数据 中 心服 务 ， 如 
访问 控制 、 性 能 监控 和 配置 功能 。 它 将 各 台 计 算 服 务 器 中 的 资源 统一 在 一 起 ， 使 这 些 资 
源 在 整个 数据 中 心中 的 虚拟 机 之 间 实 现 共 享 。 其 原理 是 : 根据 系统 管理 员 设 置 的 策略 ， 
管理 虚拟 机 到 计算 服务 器 的 分 配 ， 以 及 资源 到 给 定 计 算 服 务 器 内 虚拟 机 的 分 配 。 

在 vCenter Server 无 法 访问 (例如 ,网络 断 开 ) 的 情况 下 (这 种 情况 极 少 出 现 ) ， 
计算 服务 器 仍 能 继续 工作 。 服 务 器 可 单独 管理 ， 并 根据 上 次 设置 的 资源 分 配 继续 运行 分 
配给 它们 的 虚拟 机 。 在 vCenter Server 的 连接 恢复 后 ， 它 就 能 重新 管理 整个 数据 中 心 。 

5. 管理 客户 端 

VMware vSphere 为 数据 中 心 管理 和 虚拟 机 访问 提供 多 种 界面 。 这 些 界 面包 括 VM- 
ware vSphere 客户 端 (vSphere 客户 端 ) 、vSphere Web 客户 端 (用 于 通过 Web 浏览 需 访 
问 ) 或 vSphere Command- Line Interface (vSphere CLI)。 

3.2.1.2 计算 资源 虚拟 化 技术 

1. CPU 虚拟 化 

VMware 通过 CPU 虚拟 化 技术 解决 了 如 何在 一 个 操作 系统 实例 中 运行 多 个 应 用 的 难 
题 。 实 现 这 一 任务 的 困难 之 处 在 于 每 一 个 应 用 都 与 操作 系统 之 间 有 着 密切 的 依赖 关系 。 
一 个 应 用 通常 只 能 运行 于 特定 版 本 的 操作 系统 和 中 间 件 之 上 ， 这 就 是 Windows 用 户 常常 
提 到 的 “DLL 地 狱 ”。 因 此 ,大 多 数 用 户 只 能 在 一 个 Windows 操作 系统 实例 上 运行 一 种 
应 用 ， 操 作 系 统 实例 独占 一 台 物 理 服务 器 。 这 种 状况 会 导致 物理 服务 器 的 CPU 资源 被 
极 大 地 浪费 。 能 够 使 多 个 操作 系统 实例 同时 运行 在 一 台 物 理 服 务 器 之 上 ， 是 VMware 所 
提供 的 CPU 虚拟 化 技术 的 价值 所 在 。 通 过 整合 服务 器 充分 利用 CPU 资源 ， 可 以 给 用 户 
带 来 极 大 的 收益 。 

服务 需 整 合 的 益处 能 够 得 以 实现 的 前 提 是 工作 负载 并 不 需要 知晓 它们 正在 共享 
CPU， 虚 拟 化 层 必 须 具 备 这 种 能 力 。 这 是 CPU 虚拟 化 与 其 他 虚拟 化 在 形式 上 所 不 同 
迄 处 5 

具体 实现 方式 是 为 每 个 虚拟 机 提供 一 个 或 者 多 个 虚拟 CPU (vCPU)。 多 个 vCPU 分 
时 复 用 物理 CPU。 虚 拟 机 监控 器 (VMM) 必须 为 多 个 vCPU 合理 分 配 时 间 片 并 维护 所 
有 vCPU 的 状态 ， 当 一 个 虚拟 机 vCPU 的 时 间 片 用 完 需要 切换 时 ， 要 保存 当前 vCPU 的 
状态 ， 将 被 调度 的 vCPU 的 状态 载 入 物理 CPU。 

VMKkernel 在 调度 vCPU 的 时 候 采 用 “ 插 槽 -核心 -线程 ”的 拓扑 逻辑 。“ 插 柳 ” 是 指 
处 理 需 单个 封装 件 ， 该 封装 件 可 以 具有 一 个 或 多 个 处 理 需 内 核 且 每 个 内 核 具 有 一 个 或 多 
个 逻辑 处 理 右 。 

当 vCPU 需要 运行 时 ，VMkernel 会 将 一 个 vCPU 映射 到 处 理 需 调度 一 个 执行 线程 的 
能 力 ， 它 对 应 于 一 个 CPU 核心 或 一 个 超 线 程 ( 如 果 CPU 支持 超 线程 )。 超 线程 或 多 核 
CPU 提供 了 两 个 或 多 个 调度 vCPU 运行 的 硬件 基础 。 

可 以 将 虚拟 机 配置 为 最 多 具有 64 个 vCPU。 主 机 上 许可 的 CPU 数量 、 客 户 机 操作 
系统 支持 的 CPU 数量 和 虚拟 机 硬件 版 本 决定 着 可 以 添加 的 CPU 数量 。 
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与 vCPU 和 管理 vCPU 相关 的 技术 和 概念 有 : 

(1) 处 理 器 管理 从 客户 操作 系统 vCPU 发 往 ESXi VMkernel 的 指令 被 VMM 拦截 。 
在 固定 时 间 间 隔 内 ，VMKernel 动态 地 在 服务 器 和 不 同 处 理 器 (或 多 核 处 理 器 的 内 核 ) 
中 分 配 VM 工作 负载 。 因 此 ，VM 指令 根据 每 个 处 理 需 的 工作 负载 从 一 个 处 理 器 (或 内 
核 ) 转移 到 另 一 个 处 理 髓 。 

(2) 多 内 核 和 虚拟 化 “多核 处 理 需 为 执行 虚拟 机 多 任务 的 主机 提供 了 很 多 优势 。 
Intel 和 AMD 均 已 开发 了 将 两 个 或 两 个 以 上 处 理 器 内 核 组 合 到 单个 集成 电路 (通常 称 为 
封装 件 或 插 槽 ) 的 处 理 器 。 

例如 ， 双 核 处 理 器 通过 允许 同时 执行 两 个 虚拟 CPU， 可 以 提供 几乎 是 单 核 处 理 器 
两 倍 的 性 能 。 同 一 处 理 器 中 的 内 核 通 常 配备 由 所 有 内 核 使 用 的 最 低级 别 的 共享 缓存 ， 这 
可 能 会 减少 访问 较 慢 主 内 存 的 必要 性 。 如 果 多 个 虚拟 机 运行 在 同一 个 逻辑 处 理 器 上 ， 并 
且 争 用 相同 内 存 总 线 资源 导致 内 存 工作 负载 过 大 ， 那 么 连接 到 主 内 存 的 共享 内 存 总 线 可 
能 会 降低 逻辑 处 理 器 的 性 能 。 

研究 显示 ， 使 用 多 内 核 可 以 导致 可 观 的 耗 电 下 降 ， 并 提供 良好 的 性 能 。 虚 拟 化 是 最 
好 地 利用 多 内 核 提供 的 高 性 能 技术 之 一 ， 因 为 ESXi 能 够 像 管理 物理 处 理 器 一 样 管理 
内 核 。 

(3) 对 称 多 处 理 句 “vSphere 虚拟 对 称 多 处 理 技 术 (Virtual SMP) 可 以 使 单个 虚拟 
机 同时 使 用 多 个 物理 处 理 器 ， 并 能 够 在 处 理 器 之 间 均 衡 负 载 。 必 须 具 有 虚拟 SMP， 才 
能 打开 多 个 处 理 需 虚拟 机 电源 。 一 些 关 键 业 务 ， 比 如 数据 库 类 应 用 ( Microsoft SQL、 
Oracle 、IBM DB2 、SAP) 、 商 业 和 科研 应 用 ， 在 开发 时 就 考虑 了 并 行 执行 任务 的 需求 ， 
具有 多 个 物理 处 理 器 的 服务 器 就 能 利用 SMP 并 从 中 获 益 。 

(4) 超 线 程 ” 超 线程 是 在 一 个 物理 处 理 器 或 者 内 核 上 创建 两 个 逻辑 内 核实 例 ， 从 
而 在 核心 中 并 行 执行 任务 ， 以 提高 效率 。 在 vSphere 虚拟 机 的 处 理 器 分 配 过 程 中 ， 一 个 
超 线程 可 以 对 应 一 个 vCPU。 

(5) CPU 虚拟 化 类 型 从 架构 上 看 ， 传 统 的 X86 平台 并 不 是 为 支持 多 操作 系统 并 
行 而 设计 的 。 因 此 CPU 厂商 如 AMD 和 Intel 都 需要 重新 设计 CPU， 增 加 虚拟 化 特性 ， 
以 解决 上 述 问题 。 当 前 X86 虚拟 化 平台 的 主要 厂商 如 VMware 等 ， 也 已 经 开始 充分 利用 
芯片 厂商 在 处 理 屁 架构 中 构建 的 硬件 辅助 功能 ， 以 以 提高 系统 运行 效率 ， 降 低 Hypervi- 
sor 带 来 的 系统 开销 。 

在 传统 的 X86 运行 环境 下 ， 操 作 系 统 使 用 保护 环 提供 保护 级 别 以 完成 不 同 任务 代 
码 的 执行 。 这 些 保护 环 以 等 级 排列 ， 从 最 有 特权 的 (Ring 0) 到 最 少 特权 的 (Ring 3 ) 。 
在 未 虚拟 化 的 服务 器 上 ， 操 作 系 统 拥 有 在 Ring 0 运行 设备 I/O 等 核心 指令 的 权利 ， 同 
时 应 用 运行 在 Ring 3 上 。 在 虚拟 化 系统 上 ，Hypervisor 和 虚拟 机 监控 带 (VMM) 需要 运 
行 在 Ring 0， 因 此 虚拟 机 子 操作 系统 必须 运行 在 Ring 1 上 。 但 由 于 多 数 操作 系统 的 设备 
IO 等 核心 指令 必须 运行 Ring 0， 所 以 VMM 工具 通过 捕获 特许 指令 和 模拟 Ring 0 到 子 
虚拟 机 ， 使 子 操作 系统 以 为 它 运 行 在 Ring 0 上 。 这 样 就 产生 了 延 时 和 开销 。 

因此 ，Intel 和 AMD 等 芯片 厂商 在 CPU 内 引入 了 一 个 新 的 、 具 有 超级 特权 和 受 保护 
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的 Ring-1 位 置 来 运行 虚拟 机 监控 器 (VMM) ， 这 样 VMM 就 可 以 运行 在 新 的 叫 作 Ring - 
1 的 环 里 ， 它 而 且 GuestOS 天 生 就 运行 在 Ring 0 里 。 这 种 CPU 架构 上 的 虚拟 化 支持 扩展 
提升 了 性 能 。VMM 不 再 让 GuestOS 以 为 自己 运行 在 Ring 0 里 ， 因 为 GuestOS 已 经 能 在 
此 操作 ， 并 且 不 会 与 VMM 冲突 一 一 VMM 已 经 移动 到 新 的 Ring 1 级 别 。 选 择 支 持 这 些 
虚拟 化 优化 扩展 的 CPU， 可 以 更 好 地 降低 系统 开销 、 提 升 虚拟 化 效率 。 

基于 以 上 设计 ，Intel 和 AMD 分 别 推出 了 VT-x 和 AMD-v 两 种 主要 的 X86 处 理 器 架 
构 的 虚拟 化 硬件 辅助 功能 。 

(6) CPU 负载 均衡 〈 见 图 3-23) ”CPU 调度 器 可 以 让 多 个 虚拟 机 复 用 逻辑 处 理 器 
(逻辑 处 理 器 的 单位 是 一 个 CPU 核心 或 一 个 超 线程 )， 提 供给 虚拟 机 类 似 于 传统 对 称 多 
处 理 嚣 (SMP) 的 执行 能 力 ， 并 使 它们 之 间 相 互 独立 。 例 如 ， 配 有 2 个 vCPU 的 虚拟 机 
可 以 使 虚拟 处 理 器 运行 在 属于 相同 内 核 的 逻辑 处 理 器 上 ， 或 运行 在 不 同 物理 内 核 的 逻辑 
处 理 器 上 。VMkernel 通过 智能 地 管理 处 理 器 时 间 来 保障 工作 负载 在 处 理 器 内 核 间 进行 
迁移 。 每 隔 2 ~40ms，VMkernel 把 vCPU 从 一 个 逻辑 处 理 器 迁移 到 另 一 个 逻辑 处 理 器 来 
保障 负载 均衡 。 如 果 存 在 超 线程 ，VMkernel 尽量 把 相同 虚拟 机 的 vCPU 负载 分 散 到 不 同 
内 核 的 线程 上 来 实现 性 能 的 优化 。 














具有 超 线程 的 
双核 双 插 槽 系统 


3-23 ”CPU 负载 均衡 

















ESXi CPU 调度 程序 可 以 解释 处 理 器 拓扑 (包括 插 模 、 内 核 和 你 辑 处 理 融 之 间 的 关 
系 )。 调 度 程序 使 用 拓扑 信息 优化 虚拟 CPU 在 不 同 插 模 上 的 放置 位 置 ， 以 使 总 体 缓存 利 
用 率 实现 最 大 化 ， 并 通过 最 小 化 虚拟 CPU 迁移 来 改善 缓存 关联 性 。 

在 未 过 载 的 系统 中 ，ESXi CPU 调度 程序 在 默认 情况 下 将 负载 分 配 到 所 有 插 酸 中 。 
这 样 便 可 通过 最 大 化 供 正 在 运行 的 虚拟 CPU 使 用 的 缓存 总 量 来 改善 性 能 。 因 此 ， 单 个 
SMP 虚拟 机 的 虚拟 CPU 在 多 个 插 模 之 间 分 配 (除非 每 个 插 权 本 身 还 是 NUMA 节点 ,在 
这 种 情况 下 ，NUMA 调度 程序 会 限制 虚拟 机 的 所 有 虚拟 CPU 都 驻 留 在 同一 插 档 上 )。 

综 上 所 述 ， 对 CPU 的 调度 管理 功能 有 如 下 要 求 : 

1) 支持 基于 Intel/ AMD X86 指令 集 架 构 的 处 理 器 ， 支 持 最 新 的 处 理 器 硬件 辅助 虚 
拟 化 功能 。 
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2) 支持 处 理 需 多 核 技术 。 

3) 支持 虚拟 多 路 运算 ， 每 个 虚拟 机 可 以 支持 多 达 64 个 虚拟 CPU (vSMP) ， 以 满足 
高 负载 应 用 环境 的 要 求 。 

4) 可 以 灵活 分 配 调度 物理 服务 器 上 的 CPU 资源 ， 如 可 按 主 频 赫 效 分 配给 虚拟 机 计 
算 时 间 片 。 

5) 对 CPU 的 调度 应 能 实现 虚拟 机 按 需 使 用 ， 随 用 随 取 ， 不 用 即 释 放 ， 使 得 计算 资 
源 能 被 充分 利用 。 

6) 在 虚拟 机 操作 系统 提供 支持 的 前 提 下 ， 应 能 支持 虚拟 机 的 CPU 热 添加 技术 。 

2. 内 存 虚 拟 化 

当 运 行 一 个 虚拟 机 时 ，vSphere 的 VMKernel 为 虚拟 机 生成 一 段 可 编 址 的 连续 内 存 ， 
与 普通 操作 系统 提供 给 上 层 应 用 使 用 的 内 存 具有 相同 的 属性 与 特征 。 引 入 内 存 虚 拟 化 
后 ， 同 样 的 内 存 地 址 空间 允许 VMkernel 同时 运行 多 个 虚拟 机 ， 并 保证 它们 之 间 在 使 用 
内 存 时 具有 独立 性 。 

VMware vSphere 的 三 层 内 存 映 射 结 构 如 虚拟 机 
图 3-24 所 示 。 

ESXi 裸 机 体系 结构 的 强大 功能 主要 体 
现在 内 存 优化 方面 ， 这 些 功能 可 以 提高 内 存 
的 使 用 效率 。ESXi 主机 的 内 存 管理 支持 安 
全 的 内 存 过 量 分 配 〈 见 图 3-25 ) 。 分 配给 每 “、 
个 虚拟 机 的 内 存 总 和 可 超过 主机 上 安装 的 物 ， 
理 内 存 总 和 。ESXi 主机 采用 了 几 种 有 效 方 | 区 
法 来 支持 安全 的 内 存 过 量 分 配 。 例如， 过量 
分 配 率 为 2: 1 时 ,通常 只 会 对 性 能 产生 非常 
小 的 影响 。 

















\ 


客户 操作 系统 
虚拟 内 存 
NA | 


应 用 程序 










ee 


操作 系统 

















图 3-24 VMware vSphere 三 层 的 内 存 映射 结构 


内 存 过 量 分 配 
虚拟 存储 器 (2G) 是 虚拟 存储 器 (2G) 








图 3-25 内存 的 过 量 分 配 


内 存 通常 是 最 有 限 的 资源 ，vSphere VMkemel 管理 服务 器 的 RAM 可 进行 多 种 资源 的 节 
约 操作 。 通 过 VMware 设计 的 若干 功能 ，vSphere 可 支持 实现 RAM 的 高 效 使 用 和 更 高 的 整合 
率 ， 包 括 透明 页 共享 、 客 户 机 内 存 回收 和 内 存 压缩 。 实 现 过 量 分 配 的 内 存 管理 机 制 如 下 : 
(1) 透明 页 共享 TPS$ 透明 页 共享 (Transparent Page Sharing，TPS) 是 VMware 
独 有 的 一 种 内 存 优化 方法 。VMkernel 可 检查 虚拟 机 存储 的 每 个 内 存 页 面 ， 以 便 识 别 相 
同 的 页 面 ， 并 仅 存 储 一 个 页 面 副 本 ， 如 图 3-26 所 示 。 
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虚拟 机 内 存 虚拟 机 内 存 虚拟 机 内 存 











透明 页 共享 
VMkernel 可 检测 虚拟 机 内 存 中 完全 相同 
的 页 面 ， 然 后 将 其 映射 到 同一 个 底层 物理 
页 面 。 











硬件 内 存 


图 3-26 ”透明 页 共享 


(2) 气球 内 存 回 收 ”ESXi 主机 使 用 一 种 随 VMware Tools 提供 的 内 存 释放 驱动 程 
序 ， 该 程序 安装 在 每 个 虚拟 机 中 。 如 果 内 存 不 足 ， 则 VMkermnel 将 选择 一 个 虚拟 机 并 扩 
充 其 内 存 ， 也 就 是 说 ， 它 会 通知 该 虚拟 机 中 的 释放 驱动 程序 从 客户 操作 系统 要 求 更 多 的 
内 存 。 客 户 操 作 系 统 通 过 生成 内 存 满足 这 一 需求 ， 然 后 VMkernel 会 将 释放 出 的 页 面 分 
配给 其 他 虚拟 机 ， 如 图 3-27 所 示 。 

(3) 内 存 压缩 ” 当 内 存 过 量 分 配 。 客户 操作 系统 中 的 内 丰县 让 
时 ， 内 存 压缩 可 以 帮助 提高 虚拟 机 性 
能 ， 如 图 3-28 所 示 。 默 认 情况 下 已 启 人 @ 

用 该 功能 。 因 此 ， 当 主机 内 存 发 生 过 内 存 





量 分 配 时 ，ESXi 会 尝试 将 该 页 面 交换 
到 磁盘 前 压缩 虚拟 页 面 并 将 其 存储 在 © [加 > 
内 存 中 。 内 存 交换 空间 

(4) 主机 级 SSD 交换 文件 “每 个 
虚拟 机 都 包含 一 个 VMkemel 交换 文 个 nid 一 
件 。 如 果 多 个 虚拟 机 需要 完全 使 用 分 内 存 交换 空间 
配给 它们 的 内 存 ， 则 ESXi 主机 将 根据 图 3-27 ”气球 内 存 回 收 


为 每 个 虚拟 机 指定 的 内 存 资源 设置 ， 
按 比 例 将 其 内 存 区 域 交 换 到 本 地 或 网 络 固态 驱动 器 (SSD) 设备 中 ， 如 图 3-29 所 示 。 

将 虚拟 机 内 存 分 页 移 到 磁盘 中 ， 如 非 必要 , 系统 不 会 使 用 VMkernel 交换 空间 , 因为 
这 种 方式 的 性 能 很 差 。 

综 上 所 述 ， 对 内 存 的 调度 管理 功能 应 满足 如 下 需求 : 

1) 单个 虚拟 机 能 够 支持 扩展 到 最 大 1TB 的 内 存 。 

2) 可 以 灵活 分 配 调 度 物 理 服务 器 上 的 内 存 资源 ， 如 可 按 MB 大 小 分 配给 虚拟 机 内 
存 资源 。 

3) 对 内 存 的 调度 应 能 实现 虚拟 机 按 需 使 用 ， 随 用 随 取 ， 不 用 即 释 放 ， 使 计算 资源 
能 够 被 充分 利用 。 

4) 具有 合理 的 内 存 调度 机 制 ， 能 够 实现 内 存 的 过 量 使 用 ， 支 持 不 同 虚拟 机 中 内 存 
相同 数据 部 分 的 页 面 共享 ， 保 障 内 存 资源 的 充分 利用 。 

5) 在 虚拟 机 操作 系统 提供 支持 的 前 提 下 ， 应 能 支持 虚拟 机 的 内 存 热 添加 技术 。 
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内 存 压缩 


可 用 内 存 闲置 内 存 


使 用 中 的 内 存 














压力 测试 性 能 
16 个 虚拟 存储 器 共 80GB 虚 拟 存储 器 内 存 (Pshare 已 禁用 ) 








0.99 


0.95 









区 0.94 























昌 OSE 070 
临 0 中 -全 不 使 用 内 存 压 缩 
加 一- 使 用 内 存 压缩 
坚 " 个 0.42 
0 中 
%6 80 70 60 50 
主机 内 存 大 小 (GB) 











内 存 压缩 
a 在 使 用 内 存 过 量 分 配 时 提高 虚拟 机 性 能 。 


。 最 多 将 性 能 提高 15%( 部 分 内 存 过 量 分 配 )。 
。 最 多 将 性 能 提高 25%( 严 重 内 存 过 量 分 配 )。 





m 上 图 描述 了 Oracle 压力 测试 工作 负载 在 启用 和 不 启用 内 存 压 缩 时 的 相对 累积 性 能 (16 个 虚拟 机 )。 当 主机 的 内 存 不 足 时 : 








图 





6) 支持 内 存 压 缩 技术 ， 
概率 ， 从 而 提升 性 能 。 

3.2.1.3 虚拟 机 性 能 

虚拟 机 有 一 个 对 应 的 硬件 版 本 的 
概念 ， 该 硬件 版 本 指示 虚拟 机 支持 的 
虚拟 硬件 特性 ， 如 BIOS 或 EFI、 虚 
拟 插 槽 数 、 最 多 CPU 数 、 最 大 内 存 
配置 和 其 他 硬件 特征 。 创 建 虚拟 机 所 
用 的 vSphere 主机 的 版 本 决定 了 虚拟 
机 的 硬件 版 本 。 最 新 版 本 文 持 的 最 大 
虚拟 机 能 力 为 : 64 个 虚拟 CPU、1TB 
内 存 、1000000 IOPS ( Inpwt/Output 
Operations Per Second ， 每 秒 进 行 读 写 
操作 的 次 数 ) 的 磁盘 读 取 速 度 以 及 

















36Gbit/s 以 上 的 网 络 吞 吐 量 。 远 远大 于 典型 应 


储 NASDAQ 每 天 20 亿 笔 交易 的 全 部 信息 。 





3-28 内存 压缩 
减少 虚拟 内 存在 虚拟 机 高 压力 内 存 状 态 下 交换 到 磁盘 上 的 


Mkemnai 交 文件 





VMkernel 交 换 
如 果 内 存 不 足 , 则 VMkemel 可 通过 此 
交换 文件 将 整个 虚拟 机 完全 换 出 。 








3-29 ”交换 文件 


应 用 的 需求 ， 足 以 满足 关键 应 用 和 甚至 大 数据 的 
需求 。 这 足以 满足 每 天 处 理 20 亿 次 交易 的 大 规模 数据 库 的 需求 ， 只 需 一 台 虚 拟 机 ， 即 可 存 


3. 2.2 ”VMware 云 管理 方案 


3.2.2.1 运 维 管理 


VMware 的 vCenter Operations Management Suite (vCenter 运营 


72 


-Hs 


管理 组 件 ) 产品 可 使 


商业 云 计算 产品 | 第 3 章 | 


用 户 更 全 面 地 了 解 基础 设施 所 有 层 的 情况 。 它 可 收集 和 分 析 性 能 数据 、 关 联 异 常 现象 ， 
并 可 识别 构成 性 能 问题 的 根本 原因 。 它 提供 的 容量 管理 可 优化 资源 使 用 率 ， 基 于 策略 的 
配置 管理 则 可 确保 合 规 性 并 消除 数量 剧 增 和 配置 偏差 问题 。 应 用 发 现 、 依 赖 关 系 映射 和 
成 本 计量 功能 为 基础 设施 和 运 维 团 队 带 来 了 更 高 级 别 的 应 用 感知 和 财务 责任 。 

vCenter Operations Management Suite 使 IT 部 门 可 以 获得 更 好 的 可 见 性 和 可 操作 的 管 
能 信息 ， 从 而 主动 确保 动态 虚拟 环境 和 vCloud 中 的 服务 级 别 、 资 源 利 用 率 优化 和 配置 
合 规 性 ， 它 具有 如 下 三 个 基本 特征 : 

(1) 自动 化 根据 Forrester 的 调查 ， 和 凭借 获得 专利 的 自学 式 分 析 方 法 ， 该 产品 可 
实现 比 传统 管理 工具 高 得 多 的 自动 化 程度 ， 使 工作 效率 提高 近 70% ， 资 源 消耗 减少 
30% ， 还 可 以 带 来 更 多 的 业务 优势 。 

(2) 集成 式 ”本 产品 采用 集成 式 方法 实现 性 能 、 容 量 和 配置 管理 ， 以 集成 式 套件 的 
方式 提供 ， 它 聚合 了 各 种 管理 规程 ， 并 将 不 同 基础 设施 和 运 维 部 门 的 团队 统一 成 一 体 。 

(3) 全 面 性 vCenter Operations Management Suite 以 开放 且 可 扩展 的 操作 平台 为 基 
础 而 构建 ， 可 提供 一 整套 全 面 的 管理 功能 ， 包 括 性 能 、 容 量 、 变 更 、 配 置 和 合 规 性 管 
理 、 应 用 发 现 和 监控 ， 以 及 成 本 计量 。 

萌 助 vCenter Operations Management Suite， 基 础 设施 和 运 维 团队 可 获得 全 面 可 见 性 、 



































智能 自动 化 和 主动 式 管理 ， 从 而 能 以 尽 可 能 高 效率 的 方式 确保 服务 质量 。 
vCenter Operations Management Suite 的 核心 功能 如 图 3-30 所 示 。 
统一 的 










运 维 视图 
VCenter Operations Management Suite 


API 
第 三 方 
适配器 





Public 



































Amazon 


VMware Azure 





图 3-30 vCenter Operations Management Suite 的 核心 功能 

注 ，vCenter Operations Management Suite: vCenter 运营 管理 组 件 ，API: 应 用 编程 接口 ( Application Programming Inter- 
face); SDK: 软件 开发 工具 包 (Software Development Kit); Physical: 物理 设备 ; Virtual: 虚拟 设备 ; Public: 公有 云 。 
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1) 提供 了 环境 状况 的 统一 视图 ， 该 视图 支持 虚拟 环境 ， 这 是 
的 主要 功能 。 想 要 获取 一 个 有 关 虚 拟 云 计算 环境 状态 的 统一 视图 
VMware 提供 了 一 个 解决 方案 。 

2) 提供 了 一 套 全 面 的 集成 功能 。 在 虚拟 环境 中 ， 遗 留 给 IT 运 维 团队 的 问题 是 需 
要 不 同 的 运 维 团 队 管 理 网 络 资源 、 存 储 资源 和 计算 资源 。 但 在 虚拟 化 环境 中 ， 所 有 这 些 
资源 一 一 具备 ， 虚 拟 团 队 能 够 一 起 管理 所 有 这 些 资源 ，vCenter Operations Management 
Suite 为 此 提供 了 全 面 的 集成 解决 方案 。 

男 外 ， 就 管理 性 能 而 言 ， 该 方案 所 采用 的 方法 与 该 领域 其 他 传统 供应 商 所 采用 的 方 
法 有 很 大 不 同 ， 即 它 更 加 注重 分 析 。VMware 了 解 什么 对 环境 而 言 是 正常 的 并 将 该 信息 
用 于 智能 警报 ， 而 不 是 依赖 会 导致 产生 大 量 误 报 的 某 些 传 统 贱 值 的 方法 。 此 核心 功能 是 
该 产品 组 合 的 核心 组 成 部 分 ， 该 产品 组 合 能 够 提供 大 量 的 优势 功能 ， 与 虚拟 化 和 vCloud 
管理 领域 的 传统 管理 供应 商 和 新 供应 商 的 功能 有 很 大 的 差异 。 

由 于 客户 需要 管理 虚拟 环境 ， 而 且 管 理 的 虚拟 环境 是 基于 物理 环境 构建 的 ， 并 且 他 
们 需要 通过 云 来 进行 管理 。 因 此 ， 该 方案 提供 了 一 套 异 构 功 能 ， 不 仅 能 人 够 解决 物理 和 虚 
拟 环境 的 问题 ， 而 且 能 够 满足 同时 跨 私 有 云 和 公有 云 或 混合 云 管理 的 需求 ， 这 套 功能 对 
客户 非常 重要 。 

3) 提供 了 可 延展 性 和 开放 式 框 架 ， 以 用 于 将 该 解决 方案 以 及 将 其 他 解决 方案 集成 
到 软件 定义 的 数据 中 心中 。 

3.2.2.2 服务 调配 

这 里 将 介绍 vCloud Suite 的 服务 调配 解决 方案 vCloud Automation Center 与 多 租户 自 
助 服务 门户 vCloud Director。 

对 于 云 计 算 平 台 而 言 ， 服 务 调配 存在 大 量 的 挑战 。 由 于 自 定义 服务 过 多 ， 以 及 对 于 
谁 能 访问 什么 服务 、 在 何 处 调配 服务 等 方面 缺乏 控制 ， 服 务 调配 非常 耗 时 ， 需 要 大 量 的 
人 工 操作 ， 而 且 成 本 高 昂 。 

VMware 通过 采用 针对 基础 架构 服务 ， 包 括 计 算 和 桌面 两 方面 ， 以 及 应 用 服务 的 调 
配 解决 方案 解决 了 这 些 问 题 。 借 助 vCloud Automation Center (vCAC) ， 客 户 可 以 对 通过 
自助 式 门户 和 目录 向 终端 用 户 提供 的 预定 义 基础 架构 和 桌面 服务 进行 自动 化 调配 ， 从 而 
快速 实现 价值 。 这 些 功能 可 以 促使 企业 加 大 创新 力度 ， 并 且 能 够 提高 企业 的 敏捷 性 以 及 
降低 开 成 本 ， 同 时 还 能 确保 其 符合 行业 和 公司 的 法 规 和 策略 。 此 外 ，vCAC 还 能 够 简化 
和 自动 化 将 任何 自 定义 或 打包 应 用 调配 到 任何 已 批准 的 云 的 过 程 ， 从 而 缩短 应 用 的 上 市 
时 间 。 可 重复 使 用 的 标准 化 应 用 组 件 能 够 降低 成 本 ， 并 且 有 助 于 确保 合 规 性 ， 此 外 还 能 
够 调配 到 多 个 云 中 ， 因 而 可 以 提高 业务 的 敏捷 性 。 

企业 异 构 硬件 环境 可 以 通过 vCAC 来 进行 集中 化 和 标准 化 的 调配 和 管理 。 对 于 管理 
虚拟 机 ， 可 以 对 VMware vCloud Director 环境 、vSphere 环境 虚拟 机 进行 管理 ， 并 且 可 以 
管理 Microsoft Hyper-V、Citrix Xenserver、Redhat KVM 等 虚拟 化 环境 。 对 于 物理 机 ， 支 
持 管 理 主流 X86 服务 器 厂商 的 服务 器 ， 包 括 HP (通过 iLO)、DELL (通过 iDRAC)、 
CISCO (通过 UCSM) 和 IBM (需要 作 一 定 的 定制 开发 ) ， 此 外 ， 还 可 以 管理 外 部 公有 
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云 如 VMware vCloud Director 和 Amazon AWS 虚拟 环境 的 云 资 源 。 

vCAC 自身 不 具备 虚拟 化 资源 的 能 力 ， 而 是 与 虚拟 化 平台 协作 ， 提 供 调 配 和 管理 虚 
拟 化 平台 所 创建 的 虚拟 机 和 产生 的 虚拟 计算 资源 的 能 力 ， 如 图 3-31 所 示 。 要 完成 上 述 
调配 和 管理 的 功能 ，vCAC 需要 使 用 包含 平台 结构 在 内 的 代理 。 类 似 地 ，vCAC 并 不 是 
直接 管理 云 虚拟 机 ， 而 是 直接 与 云 服 务 交 互 ， 来 调配 和 管理 云 平台 创建 的 虚拟 机 。 对 于 
管理 物理 机 器 ，vCAC 直接 与 每 个 系统 的 管理 接口 通信 来 执行 诸如 操作 系统 安装 、 重 
启 、 重 调配 等 操作 。 
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图 3-31 调配 和 管理 的 资源 


VMware vCloud Automation Center (vCAC) 由 三 大 模块 组 成 ， 即 虚拟 机 资源 管理 器 
(VRM) 、 外 部 云 管理 器 (ECM) 和 物理 资源 管理 器 (PRM) 。 这 些 模块 共同 为 企业 提 
供 广泛 的 管理 和 调配 虚拟 资源 、 云 资源 和 物理 资源 的 能 力 ， 同 时 全 面 管理 机 器 的 生命 周 
期 ， 从 用 户 请 求 和 管理 员 审 批 到 期 满 退 役 和 资源 回收 ， 有 效 地 提高 了 资源 成 本 控制 和 管 
理 。 内 置 的 定制 化 和 可 扩展 功能 也 使 vCAC 成 为 一 种 可 以 根据 需求 制定 机 器 配置 和 与 其 
他 关键 的 企业 系统 整合 来 完成 机 器 调配 和 管理 的 高 度 灵 活 的 方式 。 

VRM 负责 在 现 有 的 虚拟 环境 (VMware vSphere，Hyper-V) 中 配置 新 的 机 器 。ECM 
负责 在 云 基础 架构 (VMware vCloud Director，Amazon) 上 配置 虚拟 机 。vCAC 利用 两 者 
的 底层 环境 关系 来 实现 虚拟 化 和 云 计 算 的 优势 。 

PRM 负责 在 物理 服务 器 上 部 署 机 器 。VRM 和 ECM 的 功能 是 调配 虚拟 机 资源 ， 而 
PRM 只 能 在 一 个 物理 机 上 配置 。PRM 借助 硬件 管理 界面 来 部 署 新 的 机 器 。 

不 论 新 机 需 在 vSphere、Hyper-V、Citrix XenServer、Red Hat KVM、Amazon AWS、 
Dell 和 HP， 还 是 Cisco 等 平台 上 部 署 ，vCAC 都 能 够 提供 给 用 户 相同 的 体验 。 

1) 实现 业务 的 灵活 性 : 更 快速 地 响应 业务 需求 ， 降 低 了 服务 交付 时 间 ， 从 几 天 缩 
减 到 几 小 时 甚至 几 分 钟 。 

2) 提高 开 效 率 : 基于 策略 的 管理 消除 了 过 度 配置 和 无 效 资 源 的 浪费 。 

3) 提供 选择 : 广泛 的 厂商 支持 ,强大 的 合作 伙伴 配合 ， 以 及 可 扩展 性 设计 ， 提 供 
了 一 个 灵活 的 云 基础 架构 以 满足 当前 和 未 来 的 需求 。 
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4) 快速 部 署 : 在 数 天 内 把 现 有 的 基础 设施 转变 为 可 扩展 的 云 服务 ， 这 样 就 可 以 快 
速 和 经 济 地 响应 商业 需求 。 

VMware 服务 调配 解决 方案 通过 一 个 自动 交付 IT 服务 的 灵活 解决 方案 ， 可 实现 业务 
所 需 的 敏捷 性 和 IT 所 需 的 控制 力 。 

1. 云端 自助 服务 和 业务 管理 

上 前 助 VMware 服务 调配 解决 方案 中 的 业务 感知 管理 和 控制 功能 ， 用 户 无 需 更 改组 织 
流程 或 策略 即 可 将 自己 独 有 的 业务 方式 应 用 到 云 中 。 借 助 VMware 服务 调配 解决 方案 ， 
用 户 还 可 以 根据 既定 的 运营 策略 请 求 和 管理 计算 资源 ， 同 时 将 交付 开 服务 所 需 的 时 间 
从 数 天 或 数 周 缩短 到 几 分 钟 。 

1) 路 云 平台 发 挥 服务 调节 器 的 作用 ， 根 据 业 务 和 开 策略 调配 工作 负载 。 

2) 拥有 用 户 感知 能 力 的 自助 门户 可 以 为 用 户 提供 相应 的 开 服务 目录 。 

3)“ 资 源 预 留 ” 策 略 可 以 将 资源 分 配给 特定 的 组 使 用 ， 并 可 确保 资源 不 会 无 意 中 
被 其 他 组 使 用 。 

4)“ 服 务 级 别 ” 策 略 负责 定义 特定 服务 在 初始 调配 期 间或 进行 任何 配置 变更 时 能 
获得 的 资源 数量 和 类 型 。 

5) 蓝本 包含 各 种 自动 化 策略 ， 这 些 策略 定义 了 构建 和 重新 配置 计算 资源 的 流程 。 

2. 基础 架构 调配 和 生命 周期 管理 

VMware 服务 调配 解决 方案 是 一 款 已 经 企业 验证 通过 的 解决 方案 ， 专 为 自动 交付 私 
有 云 和 混合 云 服务 而 构建 ; 它 让 企业 能 够 快速 证 明 云 部 署 具有 更 高 的 业务 价值 。 

1) 资源 治理 策略 可 避免 超额 配置 ， 确 保 每 个 用 户 都 能 获得 处 于 适当 服务 水 平 的 适 
量 应 用 ， 以 满足 他 们 履行 自身 工作 职责 的 需要 。 

2) 资源 回收 策略 和 自动 化 的 回收 工作 流 ， 有 助 于 发 现 并 回收 非 活动 资源 及 已 弃 用 
的 资源 。 

3) 借助 “回收 节约 ”报告 ， 企 业 可 以 了 解 具 体 节约 了 多 少 成 本 。 

3. 调配 和 管理 应 用 服务 或 部 署 用 户 PaaS 

VMware 服务 调配 解决 方案 可 缩短 “平台 即 服务 ” (PaaS) 和 应 用 部 署 时 间 。 一 项 
主要 功能 是 应 用 蓝本 ， 它 描述 了 独立 于 底层 基础 架构 的 应 用 部 署 拓扑 。 这 可 以 提供 对 应 
用 建 模 一 次 而 将 其 多 次 部 署 到 不 同 环境 中 的 能 力 。 应 用 蓝本 通过 预 构建 、 可 重用 的 组 件 
组 合 而 成 。 它 包括 以 下 主要 优势 : 

1) 通过 简化 部 署 过 程 和 使 用 可 重用 组 件 及 蓝本 来 消除 重复 工作 ， 可 加 快 Paas 和 应 
用 部 署 的 速度 。 这 样 就 可 以 更 快捷 地 向 业务 用 户 交 付 应 用 。 

2) 利用 Cloud Applications Marketplace 提供 的 即时 可 用 的 组 件 、 用 于 创建 任何 自 定 
义 组 件 的 可 延展 性 框架 以 及 随时 可 以 运行 的 合作 伙伴 解决 方案 ， 可 对 任何 应 用 〈 自 定 
义 或 打包 ) 灵活 建 模 以 加 以 部 署 。 

3) 可 通过 横向 扩展 已 部 署 应 用 的 节点 或 实施 应 用 或 代码 更 改 来 更 新 应 用 部 署 。 

4. 专门 构建 的 灵活 性 和 可 延展 性 

VMware 服务 调配 解决 方案 专 为 与 现 有 基础 架构 配合 使 用 而 构建 。 它 可 以 支持 众多 
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业务 部 门 的 不 同 需求 ， 并 且 可 与 现 有 开 系统 和 最 佳 实践 集成 。 利 用 以 下 功能 ，VMware 
服务 调配 解决 方案 可 与 现 有 IT 基础 架构 和 流程 兼容 ， 或 者 适应 现 有 的 IT 基础 架构 和 
流程 : 

1) 利用 工作 流 设计 器 可 以 在 机 器 生命 周期 中 的 各 个 状态 转变 点 轻松 将 活动 搬入 工 
作 流 存根 。 借 助 这 些 存根 ， 可 以 简化 在 VMware 服务 调配 解决 方案 标准 生命 周期 自动 化 
流程 中 添加 自 定义 流程 的 流程 方法 。 

2) 与 vCenter Orchestrator 的 集成 可 扩展 预 构建 自动 化 任务 的 活动 库 ， 这 些 活动 可 
轻松 纳入 vCAC 的 现 有 流程 。 

3) VMware Solution Exchange 提供 了 VMware 和 合作 伙伴 提供 的 vCO (vCenter Or- 
chestrator) 工作 流 和 插件 库 ， 这 些 工 作 流 和 插件 可 以 加 快 自 定义 vCAC 标准 功能 的 
速度 。 

5. 多 供应 商 统 一 云 计 算 管 理 

VMware 服务 调配 解决 方案 可 跨越 广泛 的 多 供应 商 部 署 技术 和 管理 工具 编排 基础 架 
构 和 应 用 服务 的 交付 。 

1) 使 用 简单 的 拖 放 式 界面 来 设计 应 用 部 署 一 设计 和 建 模 一 次 ， 即 可 在 任意 地 点 
部 署 。 

2) 保护 对 现 有 工具 和 专业 技能 的 投资 ， 并 赋予 决定 未 来 技术 的 自主 权 。 

3) 通过 集成 式 应 用 商店 ， 可 以 轻松 获得 数 百 种 最 佳 实践 应 用 组 件 和 蓝本 、 开 发 环 
境 以 及 可 提高 业务 工作 效率 的 应 用 。 



































3.2.3 VMware 的 SDDC 


在 服务 器 虚拟 化 之 前 ， 管 理 员 部 署 一 台 服 务 器 大 概 需 要 数 周 时 间 并 花费 上 万 美金 。 
有 了 服务 器 虚拟 化 后 ， 虽 然 部 署 一 台 虚 拟 机 只 需要 几 分 钟 且 仪 花费 几 百 美金 , 但 是 , 在 
该 虚拟 机 “周边 ”部 署 所 需 的 各 种 网 络 安全 以 及 存储 等 设备 仍 需 数 天 的 时 间 ， 同 时 耗 
费 数 千 美金 。 可 见 ， 虽 然 服务 器 虚拟 化 可 以 加 快 虚 拟 机 的 部 署 ， 但 是 与 之 相连 接 的 网 络 
安全 以 及 存储 等 组 件 并 没有 跟 上 服务 器 虚拟 化 的 步伐 。 

为 了 彻底 解决 现 有 数据 中 心 存在 的 问题 ， 全 面 提升 数据 中 心 的 运营 效率 ，VMware 
提出 了 软件 定义 的 数据 中 心 解 决 方案 (Software Defined Data Center，SDDC ) 。 

软件 定义 的 数据 中 心 就 是 虚拟 化 和 软件 化 数据 中 心 的 一 切 资源 ， 专 门 的 软件 会 代替 
专门 硬件 ， 它 们 会 贯穿 到 数据 中 心 的 方方面面 。 虚 拟 化 是 从 服务 器 虚拟 化 开始 的 ， 它 所 
带 来 的 好 处 前 面 已 经 提 到 了 。 而 网 络 、 存 储 是 物理 性 很 强 的 资源 ， 虚 拟 机 虽然 带 来 了 一 
些 灵 活性 ， 但 它 没 有 办 法 在 其 他 资源 上 体现 。 软 件 定 义 的 数据 中 心 就 是 把 数据 中 心 所 有 
的 传统 、 物 理 、 硬 件 的 资源 进行 虚拟 化 和 软件 化 。 

VMware 软件 定义 数据 中 心 在 各 种 底层 硬件 架构 上 面 加 载 了 一 个 虚拟 的 基础 设 
施 层 ， 它 提取 所 有 硬件 资源 并 将 其 汇集 成 资源 池 ， 支 持 安全 高 效 自动 地 为 应 用 按 需 
分 配 资 源 。 它 可 以 将 虚拟 化 技术 的 好 处 扩展 到 包括 计算 、 存 储 、 网 络 与 安全 以 及 可 
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用 性 在 内 的 数据 中 心 所 有 领域 ， 从 而 实现 支持 灵活 、 弹 性 、 高 效 和 可 靠 IT 服务 的 
计算 环境 。 

SDDC 提供 了 让 数据 中 心 适 配 新 形势 和 新 应 用 所 需 的 一 切 ， 管 理 了 从 存储 到 网 络 与 
安全 的 方方面面 。 虚 拟 化 一 切 ， 底 层 人 硬件 的 任何 变化 都 与 上 层 应 用 无 关 ， 有 了 这 个 基 
础 ， 可 伸缩 性 和 性 能 问题 便 可 迎刃而解 。 因 此 ， 包 含 大 量 遗 留 资 产 的 数据 中 心 可 以 提高 
效率 、 降 低 成 本 、 实 现 动态 化 。 

VMware 软件 定义 数据 中 心 的 整体 架构 如 图 3-32 所 示 。 
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图 3-32 VMware 软件 定义 数据 中 心 的 整体 架构 
注 : vCloud Automation Center: vCloud 自动 化 中 心 ; vCenter Operations Management Suite: vCenter 运营 管理 组 
件 ; IT Business Management Suite: 业务 管理 组 件 ; vCenter Server and vCloud Director: vCenter 服务 器 和 vCloud 数 
据 中 心 ; vCloud Networking and Security: vCloud 网 络 和 安全 ; vCenter Site Recovery Manager: vCenter 站 点 恢复 管 
理 器 ;Virtual SAN: 虚拟 SAN。 





3.2.3.1 软件 定义 的 计算 

软件 定义 的 计算 是 针对 X86 系统 的 虚拟 化 技术 ， 可 以 将 X86 系统 转变 成 通用 的 共 
享 硬件 基础 架构 ， 由 原先 多 台 服 务 器 完成 的 工作 可 以 整合 到 少数 服务 器 完成 。 摆 脱 了 坚 
井 式 的 结构 ， 服 务 器 物理 硬件 、 操 作 系统 和 应 用 以 松 耦 合 的 方式 联接 ， 虚 拟 机 和 上 面 的 
操作 系统 及 应 用 完全 独立 于 底层 硬件 。 

除 此 之 外 ， 软 件 定义 的 计算 通过 把 服务 器 计算 资源 抽象 化 、 池 化 和 自动 化 来 实现 资 
源 的 自由 调配 和 充分 利用 ， 可 以 使 资源 充分 利用 ， 并 按 需 调配 。 当 数据 中 心 的 服务 器 需 
要 升级 或 维护 时 ， 通 过 虚拟 机 迁移 技术 可 以 把 服务 器 上 的 虚拟 机 在 工作 状态 迁移 到 另 一 
个 主机 上 ， 且 始终 保持 业务 的 连续 性 。 服 务 器 虚拟 化 大 大 增加 了 数据 中 心 的 灵活 性 和 
IT 的 敏捷 性 ,减少 了 管理 的 复杂 程度 和 1 了 T 响应 时 间 。 这 部 分 功能 已 经 在 前 文 做 了 介绍 ， 
此 处 不 再 介绍 。 
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3.2.3.2 软件 定义 的 存储 

软件 定义 的 存储 可 以 对 存储 资源 进行 抽象 化 处 理 ， 它 把 应 用 于 服务 需 的 先进 技术 运 
用 于 存储 领域 ， 可 对 异 构 存 储 资源 进行 抽象 化 处 理 ， 以 支持 存储 的 池 化 、 复 制 和 按 需 分 
发 ， 并 以 应 用 为 中 心 进行 消费 和 管理 ， 最 终 实现 基于 策略 的 自动 化 。 该 方案 使 存储 层 与 
虚拟 化 计算 层 非 常 相似 : 都 具有 聚合 、 灵 活 、 高 效 和 弹性 扩展 的 特点 。 它 们 的 优势 是 : 
全 面 降低 了 存储 基础 架构 的 成 本 和 复杂 性 。 

综合 来 看 ， 软 件 定 义 的 存储 具备 如 下 三 个 特征 : 

1) 以 应 用 为 中 心 的 策略 ， 可 实现 存储 使 用 自动 化 。 软 件 定义 的 存储 支持 对 异 构 存 
储 池 中 的 所 有 资源 实施 一 致 的 策略 ， 使 存储 的 使 用 像 为 每 个 应 用 或 虚拟 机 指定 容量 、 性 
能 和 可 用 性 要 求 那样 简单 。 这 种 基于 策略 的 自动 化 最 大 限度 地 利用 了 底层 存储 资源 ， 同 
时 将 管理 开销 降 至 最 低 。 

2) 与 硬件 无 关 的 虚拟 化 数据 服务 。 数 据 服务 (如 快照 、 克 隆 和 复制 ) 作为 虚拟 数 
据 服务 在 软件 中 交付 ， 并 按 虚拟 机 进行 调配 和 管理 。 独 立 于 底层 存储 硬件 使 得 这 些 服务 
的 分 配 极其 敏捷 和 灵活 。 

3) 通过 硬盘 和 固态 磁盘 虚拟 化 确保 数据 持久 性 。 随 着 服务 器 功能 的 增多 ， 软 件 定 
义 的 存储 解决 方案 可 让 企业 利用 廉价 的 行业 标准 计算 硬件 来 扩大 其 存储 资源 。 利 用 固态 
磁盘 和 硬盘 作为 虚拟 机 的 共享 存储 ， 可 获得 高 性 能 、 内 置 的 恢复 能 力 和 动态 可 扩展 性 ， 
并 将 存储 总 体 拥有 成 本 降低 50% 之 多 。 

VMware 在 软件 定义 存储 方面 的 计划 主要 侧重 于 一 系列 围绕 本 地 存储 、 共 享 存储 和 
存储 /数据 服务 的 计划 。 从 本 质 上 来 说 ，VMware 希望 使 vSphere 成 为 一 个 存储 服务 平 
人 台 。 软 件 定义 的 存储 旨 在 通过 主机 上 与 底层 硬件 集成 并 对 其 进行 抽象 化 处 理 的 软件 层 ， 
实现 存储 服务 和 服务 级 别 协 议 的 自动 化 。 

通过 软件 定义 的 存储 ， 可 以 动态 满足 虚拟 机 存储 要 求 ， 而 无 需 重 新 调整 LUN 或 卷 。 
虚拟 机 工作 负载 可 能 会 随 着 时 间 的 推移 有 所 变化 ， 而 底层 存储 可 以 随时 适应 工作 负载 的 
变化 。 

软件 定义 存储 的 一 个 关键 因素 是 基于 存储 策略 的 管理 (SPBM) 。SPBM 可 以 视 为 新 
一 代 VMware vSphere 存储 配置 文件 功能 。SPBM 是 VMware 实施 软件 定义 存储 的 一 个 关 
键 要 素 。 使 用 SPBM 和 VMware vSphere API 时 ， 底 层 存储 技术 会 呈现 一 个 抽象 化 的 存储 
空间 池 ， 为 vSphere 管理 员 提 供用 于 虚拟 机 调配 的 各 种 功能 。 这 些 功 能 可 能 与 性 能 、 可 
用 性 或 存储 服务 (例如 VMware vSphere Thin Provisioning) 有 关 。 然 后 ，vSphere 管理 员 
即 可 使 用 虚拟 机 上 运行 的 应 用 所 需 的 部 分 功能 创建 虚拟 机 存储 策略 。 在 部 署 时 ， 
vSphere 管理 员 可 以 根据 虚拟 机 的 需要 选择 恰当 的 虚拟 机 存储 策略 。SPBM 会 将 要 求 向 
下 推送 到 存储 层 。 这 时 将 启用 多 种 数据 存储 以 供 选择 ， 这 些 数据 存储 可 提供 虚拟 机 存储 
策略 中 包括 的 各 种 功能 。 这 意味 着 系统 将 始终 根据 虚拟 机 存储 策略 中 设置 的 要 求 ， 在 恰 
当 的 底层 存储 上 创建 虚拟 机 实例 。 如 果 虚 拟 机 的 工作 负载 随时 间 推 移 发 生变 化 ， 只 需 将 
具有 能 够 反映 新 工作 负载 的 最 新 要 求 的 策略 应 用 于 虚拟 机 即 可 。VMware 解决 方案 成 员 
如 图 3-33 所 示 。 
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软件 定义 的 存储 通过 纯 软 件 实现 了 
与 存储 相关 的 三 个 层面 的 功能 : i 
(1) 通过 策略 自动 化 消费 存储 资 基于 策略 本 信 管理 
源 以 虚拟 机 为 中 心 的 安置 、 保 护 和 性 
能 策略 。 
(2) 基于 虚拟 化 的 、 不 依赖 于 硬件 
的 数据 服务 ”以 虚拟 机 为 中 心 的 快照、 


虚拟 化 数据 服务 


虚拟 化 管理 程序 存储 抽象 








克隆 、 复 制 和 备份 。 
(3) 通过 虚拟 化 管理 程序 提取 出 存 PS 

储 抽象 层 “以 数据 存储 和 VMDK 形式 使 55D “而 

用 的 异 构 存 储 。 SAN/NAS De 
贯穿 这 三 个 层面 ，VMware 提供 对 应 “| vspiee reeh Re | | we Vi SAN 


本 、 Cach 
于 共享 存储 SANANAS 和 分 布 式 存储 DAS | .wo ves 


两 个 维度 的 解决 方案 : 可 扩展 DAS 解决 图 3.33 VMware 解决 方案 成 员 

方案 Virtual SAN 和 提高 存储 性 能 的 解决 注 : SAN/NAS: 存储 区 域 网 ( Storage Area Networ- 

方案 。 king) /网 络 存储 器 ;DAS: 数据 收集 台 ( Data Acquisition 
3.2.3.3 软件 定义 的 网 络 Station) ; VMware Virsto: 虚拟 化 巨头 VMware 收购 了 存储 


虚拟 机 管理 器 厂商 Virsto; vSphere Flash Read Cache: 虚拟 

现 有 的 网 络 体系 结构 对 底层 物理 硬 环境 内 读 缓存 ，Virtual Volumes: 虚拟 卷 ;VMware Virtual 
件 有 很 大 的 依赖 ， 它 们 依赖 于 专用 物理 SAN: 虚拟 SAN，SSD: 固态 硬盘 (Solid State Disk) 。 
设备 ， 因 此 灵活 性 很 差 。 除 此 之 外 ， 这 
种 不 灵活 的 体系 结构 对 工作 负载 和 应 用 的 扩展 与 迁移 都 产生 了 很 大 的 限制 。 在 安全 方 
面 ,传统 的 安全 防护 手段 价格 昂贵 ， 对 虚拟 化 平台 不 具有 感知 能 力 ， 使 用 不 够 灵活 ， 管 
理 难度 大 ， 不 能 很 好 地 满足 新 架构 的 需要 。 

软件 定义 的 网 络 会 创建 一 个 2 ~7 层 的 网 络 服务 ， 通 过 创建 软件 驱动 型 抽象 层 将 网 
络 连接 和 安全 组 件 与 底层 物理 网 络 基础 架构 完全 分 离 ， 因 此 它 可 以 确保 硬件 具有 独立 
性 ， 使 网 络 连接 和 安全 服务 摆脱 与 硬件 绑 定 的 限制 。 

该 方案 可 以 从 终端 主机 的 角度 忠实 地 再 现 物理 网 络 模型 : 工作 负载 感觉 不 到 任何 差 
异 ， 因 此 ， 软 件 定 义 的 网 络 与 安全 对 上 层 应 用 是 透明 的 ， 上 面 的 业务 可 以 不 做 任何 修改 
而 继续 使 用 。 

现在 ，VMware 的 软件 定义 数据 中 心 ( SDDC ) 体系 结构 扩展 虚拟 化 技术 到 整个 物 
理 数 据 中 心 基 础 设施 。VMware 的 NSX 和 网 络 虚拟 化 平台 是 VMware SDDC 架构 的 关键 组 
成 部 分 。 服 务 器 虚拟 化 以 编程 方式 创建 、 拍 摄 快 照 、 删 除 和 恢复 基于 软件 的 虚拟 机 
(VM) ， 同 样 的 , NSX 网 络 虚拟 化 编程 方式 创建 、 拍 摄 快 照 、 删 除 和 恢复 基于 软件 的 虚 
拟 网 络 (服务 器 虚拟 化 与 网 络 虚 拟 化 比照 如 图 3-34 所 示 ) 。 其 结果 是 用 一 个 完全 革命 性 
的 方法 来 部 署 网 络 ， 不 仪 使 数据 中 心 管理 员 能 够 更 好 更 具 规 模 地 处 理 业务 订单 ， 同 时 还 
大 大 简化 了 管理 底层 物理 网 络 运 营 模 式 。NSX 平台 可 以 部 署 在 任何 具有 IP 转发 能 力 的 
网 络 上 ， 也 可 以 运行 在 现 有 传统 网 络 模型 或 者 新 型 的 扁平 化 IP 网 络 上 ，NSX 具备 高 兼 
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容 、 非 破坏 性 的 解决 方案 。 事 实 上 ， 在 现 有 物理 网 络 基础 设施 上 部 署 NSX 平台 ， 可 以 
部 署 一 个 软件 定义 的 数据 中 心 。 
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到 3-34 软件 定义 数据 中 心 

注 : Application， 应 用 ;，Workload， 负载 ;X86 Environment: X86 环境 ; Virtual Machine: 虚拟 机 ; Server Hyper- 
visor: 服务 器 虚拟 化 Requirement X86 :， 要求 X86; Physical Compute and Memory: 物理 计算 和 内 存 ; Decoupled: 减 
弱 ; Network Service: 网 络 服务 ;Network Virtualization Platform: 网 络 虚拟 平台 ; Requirement IP Transport: 要 求全 传 
输 ; Physical Network: 物理 网 络 。 




















VMware NSX 为 虚拟 机 提供 部 署 在 普通 IP 网 络 硬件 上 的 、 能 够 提供 完整 服务 的 、 可 
编程 以 及 可 移动 的 虚拟 网 络 。NSX 将 Nicira NVP 和 VMware vCloud Network and Security 
(vCNS) 整合 成 一 个 统一 的 平台 ， 让 VMware 能 够 实现 网 络 虚拟 化 就 如 同 实现 计算 虚拟 
化 一 样 。 

NSX 提供 了 一 个 简化 的 逻辑 网 络 元 素 和 服务 的 完整 套件 ,包括 逻辑 交换 机 、 路 由 
需 、 防 火 墙 、 负 载 均衡 器 、VPN 、QoS 、 监 控 以 及 安全 。 这 些 服务 可 以 在 虚拟 网 络 中 通 
过 基于 NSX API 的 任何 云 计算 管理 平台 进行 调配 ， 并 且 可 以 安排 在 任何 隔离 和 多 租户 
拓扑 中 。 虚 拟 网 络 可 以 通过 任何 现 有 的 网 络 进 行 无 中 断 部 署 ， 并且 可 以 部 署 在 任何 虚拟 
化 管理 程序 上 。 

NSX 可 以 提供 网 络 虚拟 机 运营 模式 ， 以 转变 数据 中 心 的 运营 模式 和 经 济 性 。 它 以 
编程 方式 创建 、 调 配 、 拍 摄 快照 、 删 除 和 还 原 复杂 网 络 ， 所 有 这 一 切 均 可 在 软件 中 完 
成 。VMware NSX 突破 了 当前 物理 网 络 障碍 ,使 数据 中 心 操作 员 得 以 将 速度 、 经 济 性 和 
选择 性 提高 若干 个 数量 级 。NSX 以 软件 的 方式 提供 27 层 的 整体 网 络 和 安全 模式 ， 实 现 
与 底层 网 络 硬件 的 解 厢 ， 它 可 以 充分 利用 企业 现 有 网 络 基 础 架构 而 无 需 做 出 任何 改变 ， 
从 而 提高 服务 交付 的 速度 和 敏捷 性 ， 并 降低 成 本 。 

NSX 将 网 络 连接 和 安全 服务 绑 定 到 每 一 个 虚拟 机 上 ， 并 随 虚 拟 机 进行 迁移 ， 这 样 
无 需 人 工 干 预 即 可 大 量 添加 或 转移 工作 负载 ， 因 此 其 可 扩展 性 和 移动 性 都 得 到 了 增强 。 

在 运 维 管理 方面 ，NSX 提供 了 统一 的 集中 控制 点 ， 它 可 以 进行 快速 的 编程 式 调配 
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和 无 中 断 部 署 ， 这 使 得 从 网 络 调配 到 部 署 和 维护 ， 所 有 的 一 切 都 实现 了 高 度 自动 化 。 
除 此 之 外 ，NSX 还 可 以 在 任何 通用 IP 网 络 硬件 上 同时 支持 旧版 应 用 和 新 应 用 。 
3.2.3.4 软件 定义 运 维 管理 与 服务 调配 
软件 定义 数据 中 心 的 所 有 计算 、 存 储 及 网 络 资源 都 是 松 耦 合 的 ， 可 以 根据 数据 中 心 

内 各 种 资源 的 消耗 比例 而 适当 增加 或 减少 某 种 资源 的 配置 ， 这 样 则 使 数据 中 心 的 管理 具 

有 较 大 的 灵活 性 。 

VMware 提供 的 高 效 敏捷 的 服务 调配 方案 不 仅 可 以 管理 基础 计算 资源 ， 也 可 以 管理 
桌面 资源 。 它 提供 了 一 个 可 以 跨越 不 同 云 提 供 商 的 ， 用 于 管理 和 调配 虚拟 机 和 物理 机 ， 
并 管理 它们 生命 周期 的 自助 式 门户 。 

而 运 维 管理 解决 方案 可 使 用 户 更 全 面 地 了 解 基础 设施 所 有 层 的 情况 。 它 可 以 收集 和 
分 析 性 能 数据 、 关 联 异常 现象 ， 并 可 识别 出 构成 性 能 问题 的 根本 原因 。 它 提供 的 容量 管 
理 可 以 优化 资源 使 用 率 ， 基 于 策略 的 配置 管理 则 可 以 确保 合 规 性 并 消除 数量 剧 增 和 配置 
偏差 融 来 的 问题 。 应 用 发 现 、 依 赖 关 系 映射 和 成 本 计量 功能 为 基础 设施 和 运 维 团队 带 来 
了 更 高 级 别 的 应 用 感知 和 财务 责任 。 

上 述 这 些 自 动 化 的 管理 方案 是 传统 数据 中 心 没有 的 功能 ， 它 可 以 实现 较 少 工作 人 员 
对 数据 中 心 的 高 度 智能 管理 。 这 种 特性 一 方面 能 降低 数据 中 心 的 人 工 维护 成 本 ， 男 一 方 
面 还 能 够 提高 管理 效率 ， 提 升 客户 体验 。 




















3.3 华为 私有 云 解 决 方案 


3.3.1 整体 架构 


数据 中 心虚 拟 化 是 基于 传统 的 硬件 基础 设施 ， 采 用 虚拟 化 的 软件 技术 和 统一 的 云 管 
理 平 台 ， 可 以 构建 与 传统 数据 中 心 不 一 样 的 去 数据 中 心 。 数 据 中 心虚 拟 化 后 ， 对 外 提供 
的 能 力 比 传统 数据 中 心 更 多 ， 管 理 更 加 聚焦 ， 而 数据 中 心 运行 的 用 户 应 用 不 会 发 生 业 务 
逻辑 变化 ， 应 用 系统 会 平滑 迁移 到 云 平台 。 

华为 数据 中 心虚 拟 化 解决 方案 的 逻辑 架构 如 图 3-35 所 示 。 

华为 数据 中 心虚 拟 化 解决 方案 从 逻辑 上 分 为 产品 解决 方案 和 专业 服务 解决 方案 ,其 
中 产品 解决 方案 又 分 为 硬件 部 分 和 软件 部 分 ,人 硬件 部 分 是 指 华为 可 以 提供 从 数据 中 心 基 
础 层 的 机 房 建 设 、 供 电 、 散 热 方案 到 数据 中 心 使 用 的 服务 器 (刀片 式 和 机 架 式 ) 、 存 
储 、 网 络 设备 、 安 全 设备 等 全 套 硬 件 产品 。 当 然 ， 华 为 也 可 以 基于 客户 提供 的 机 房 现 有 
可 用 硬件 设施 建设 虚拟 化 数据 中 心 ， 同 时 兼容 客户 指定 的 业界 主流 的 硬件 产品 。 软 件 部 
分 则 以 业界 领先 的 华为 虚拟 化 软件 系统 FusionSphere 为 主体 来 构建 云 平 台 及 管理 系统 。 

采用 华为 FusionSphere 构建 云 平 台 ， 在 资源 的 使 用 和 管理 上 可 以 为 用 户 带 来 如 下 
好 处 : 
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CRON Be 
图 3-35 ”整体 逻辑 架构 

注 : FusionSphere: 云 操作 系统 ;FusionManager: 华为 公司 提供 的 面向 硬件 设备 、 虚 拟 化 资源 与 应 用 的 管理 软 
件 ; VPC: 虚拟 私有 云 〈( Virtual Private Cloud) ; VDC: 虚拟 化 数据 中 心 (VIRTUAL DATA CENTER); APIL/SDK: 应 
用 编程 接口 ( Application Programming Interface)/ 软 件 开发 工具 包 (Software Development Kit) ; FusionCompute: 云 操 
作 系 统 基础 软件 。 

1) FusionSphere 提供 高 可 用 性 (HA) 的 弹性 虚拟 机 ， 支 持 热 迁移 功能 ， 能 够 有 效 
减少 设备 故障 时 间 ， 确 保 核心 业务 的 连续 性 ， 避 免 传 统 全 单 点 故障 导致 的 业务 不 可 用 
保障 业务 系统 的 连续 性 与 虚拟 机 的 安全 隔离 。 

2) 易 实 现 物理 设备 、 虚 拟 设备 、 应 用 系统 的 集中 监控 、 管 理 维护 自动 化 与 动 
态 化 。 

3) 便于 快速 投放 业务 , 缩短 业务 上 线 周期 增强 系统 的 扩展 性 和 灵活 性 最 终 提高 
了 管理 维护 效率 。 

4) 利用 云 计算 技术 可 自动 化 并 简化 资源 调配 ， 实 现 分 布 式 动态 资源 优化 ， 智 能 地 
根据 应 用 负载 进行 资源 的 弹性 伸缩 ， 从 而 大 大 提升 系统 的 运作 效率 , 使 IT 资源 与 业务 
优先 事务 能 够 更 好 地 协调 。 

5) 在 数据 存储 方面 ， 通 过 共享 的 SAN 存储 架构 ， 可 以 最 大 化 地 发 挥 虚拟 架构 的 
优势 。 

6) 提供 虚拟 机 的 HA、 虚拟 机 热 迁移 、 存 储 热 迁 移 技 术 提 高 系统 的 可 靠 性 ， 提供 
虚拟 机 快照 备份 技术 (HyperDP) 等 ， 而 且 为 以 后 的 数据 备份 与 容 灾 提供 扩展 性 并 打下 
基础 。 

在 产品 解决 方案 之 外 ， 华 为 数据 中 心虚 拟 化 解决 方案 还 包括 专业 服务 解决 方案 ， 主 
要 是 在 项 目 建设 的 各 个 阶段 为 用 户 提供 各 种 专项 服务 ， 包 括 项 目 启动 前 的 咨询 、 分 析 和 
规划 服务 、 现 网 业务 的 性 能 数据 采集 和 容量 分 析 评 佑 服务 、 应 用 迁移 云 平台 的 建议 、 应 
用 迁移 方案 设计 、 迁 移 实 施 、 应 用 迁移 的 连续 性 保障 、 迁 移 效 果 评 估 、 应 用 部 署 后 的 系 
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统 运 维 优化 、 云 数据 中 心 代 维 服务 等 。 


3.3.2 虚拟 化 软件 系统 





虚拟 化 层 提 供 基础 的 虚拟 化 功能 ， 提 供 服 务 右 、 存 储 、 网 络 的 虚拟 化 功能 ， 并 向 上 
对 云 管理 系统 提供 接口 。 每 套 虚拟 化 引 警 应 该 由 一 对 主 备 管理 节点 组 成 。 一 对 主 备 管理 
节点 对 应 一 个 物理 集群 。 一 个 物理 集群 中 可 以 把 多 台 服 务 器 划分 成 一 个 资源 集群 ， 一 个 
计算 资源 池 有 相同 的 调度 策略 ， 一 个 物理 集群 中 可 以 包含 多 个 资源 集群 。 

虚拟 化 引擎 主要 负责 硬件 资源 的 虚拟 化 ， 以 及 对 虚拟 资源 、 业 务 资源 、 用 户 资源 的 
集中 管理 。 它 采用 虚拟 计算 、 虚 拟 存储 、 虚 拟 网 络 等 技术 ， 完 成 计算 资源 、 存 储 资源 、 
网 络 资源 的 虚拟 化 。 同 时 通过 统一 的 接口 ， 对 这 些 虚 拟 资 源 进行 集中 调度 和 管理 ， 从 而 
降低 业务 的 运行 成 本 ， 保 证 系统 的 安全 性 和 可 靠 性 , 构筑 安全 、 绿 色 、 节 能 的 云 数 据 中 
心 能 力 。 

3.3.2.1 虚拟 化 计算 

1 服务 央 虚拟 化 

将 服务 器 物理 资源 抽象 成 逻辑 资源 ， 使 一 台 服 务 器 变 成 几 台 甚至 上 百 台 相互 隔离 的 
虚拟 服务 器 ， 不 再 受 限 于 物理 上 的 界限 ， 而 是 使 CPU 、 内 存 、 磁 盘 、L0 等 硬件 变 成 可 
以 动态 管理 的 “资源 池 ”， 从 而 提高 资源 的 利用 率 ， 简 化 系统 管理 。 同 时 硬件 辅助 虚拟 
化 技术 可 以 提升 虚拟 化 效率 ， 并 增加 虚拟 机 的 安全 性 。 

2. 虚拟 机 资源 管理 

客户 可 以 通过 自 定 义 方 式 或 基于 模板 创建 虚拟 机 ， 并 对 集群 资源 进行 管理 ， 包 括 资 
源 自行 动态 调度 (包含 负载 均衡 和 动态 节能 ) 、 虚 拟 机 管理 (包含 创建 、 删 除 、 启 动 、 
关闭 、 重 启 、 休 眠 、 唤 醒 虚 拟 机) 、 存 储 资源 管理 (包含 系统 盘 、 用 户 盘 和 共享 盘 的 管 
理 ) 、 虚 拟 机 安全 管理 [包含 自 定 义 虚 拟 局 域 网 (Virtual Local Area Network ，VLAN ) 
或 使 用 安全 组 ] ， 此 外 ， 还 可 以 根据 业务 负载 灵活 调整 虚拟 机 的 QoS (包括 CPU QoS 和 
内 存 QoS ) 。 

3. 虚拟 机 资源 动态 调整 

FusionCompute 支持 虚拟 机 资源 动态 调整 ， 用 户 可 以 根据 业务 负载 动态 调整 资源 的 
使 用 情况 。 虚 拟 机 资源 调整 包括 以 下 内 容 : 

1) 离线 或 在 线 调整 VCPU 数目 。 

2) 无 论 虚拟 机 处 于 离线 (关机 ) 或 在 线 状态 ， 用 户 都 可 以 根据 需要 增加 或 者 减少 
虚拟 机 的 VCPU 数目 。 

3) 离线 或 在 线 调 整 内 存 大 小 。 

4) 无 论 虚 拟 机 处 于 离线 或 在 线 状态 ， 用 户 都 可 以 根据 需要 增加 或 者 减少 虚拟 机 的 
内 存 容量 。 

5) 离线 添加 或 删除 网 卡 。 

6) 虚拟 机 离线 状态 下 ， 用 户 可 以 挂 载 或 印 载 虚 拟 网 卡 。 
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7) 离线 或 在 线 挂 载 虚拟 磁盘 。 

8) 无 论 虚拟 机 处 于 离线 或 在 线 状 态 ， 用 户 都 可 以 挂 载 虚拟 磁盘 ， 实 现存 储 资源 的 
灵活 使 用 。 

4. 分 布 式 资源 调度 和 电源 管理 

FusionCompute 提供 各 种 虚拟 化 资源 池 ， 包 括 计算 资源 池 、 存 储 资源 池 、 虚 拟 网 络 
和 虚拟 防火 墙 。 资 源 调度 是 指 这 些 虚 拟 化 资源 根据 不 同 的 负载 进行 智能 调度 ， 达 到 系统 
各 种 资源 的 负载 均衡 ， 在 保证 整个 系统 高 可 靠 性 、 高 可 用 性 和 良好 的 用 户 体验 的 同时 ， 
也 有 效 提 高 了 数据 中 心 资源 的 利用 率 。 

5. 虚拟 机 热 迁 移 

FusionCompute 支持 在 同一 共享 存储 的 主机 之 间 自 由 迁移 虚拟 机 。 在 虚拟 机 迁移 期 
间 ， 用 户 业 务 不 会 有 任何 中 断 。 该 功能 可 避免 因 服务 器 维护 造成 的 业务 中 断 ， 进 而 起 到 
降低 数据 中 心 电 能 消耗 的 作用 。 

3.3.2.2 虚拟 化 网 络 

1. 虚拟 网 卡 

虚拟 网 卡 均 有 自己 的 卫 地 址 、MAC 地 址 (Medium/Media Access Control) ， 从 网 络 
角度 来 看 ， 虚 拟 网 卡 与 物理 网 卡 一 致 。FusionCompnute 支持 智能 网 卡 ， 实 现 多 队列 、 虚 
拟 交 换 、QoS、 上 行 链 路 聚合 功能 ， 提 升 虚拟 网 卡 的 YO 性 能 。 

2. 灵活 的 虚拟 交换 机 

虚拟 交换 机 为 FusionCompute 的 网 络 模块 提供 新 的 虚拟 交换 模式 ， 具 备 VLAN、DH- 
CP (Dynamic Host Configuration Protocol ， 动 态 主机 配置 协议 ) 隔离 、 人 带宽 限 速 等 基本 功 
能 ， 同 时 ， 还 具备 良好 的 功能 扩展 性 。 通 过 虚拟 交换 机 ， 同 一 主机 上 的 虚拟 机 可 以 使 用 
与 物理 交换 机 相同 的 协议 相互 通信 。 

3. 网 络 IO 控制 

网 络 QoS 策略 提供 发 送 方向 的 带宽 配置 控制 能 力 ， 包 含 如 下 几 个 方面 : 

1) 基于 网 络 平面 的 带宽 控制 。 

2) 提供 基于 网 络 平面 的 带宽 控制 功能 。 

3) 基于 虚拟 网 卡 的 带宽 控制 。 

4) 提供 基于 虚拟 网 卡 的 带宽 保证 (服务 需 需 要 配备 智能 网 卡 ) 、 上 限 带宽 、 诗 宽 
优先 级 控制 能 

5) 基于 端口 组 成 员 接口 的 带宽 控制 。 

6) 基于 端口 组 的 每 个 成 员 接 口 提供 上 限 带 宽 、 带 宽 优 先 级 的 控制 能 

4. 分 布 式 虚拟 交换 机 

分 布 式 交换 机 的 功能 类 似 于 普通 的 物理 交换 机 ， 每 台 主机 都 连接 到 分 布 式 交换 机 
中 。 分 布 式 交 换 机 的 一 端 是 与 虚拟 机 相连 的 虚拟 端口 ， 另 一 端 是 与 虚拟 机 所 在 主机 上 的 
物理 以 太 网 适配器 相连 的 上 行 链 路 。 通 过 它 可 以 连接 主机 和 虚拟 机 ， 实 现 系统 网 络 互 
通 。 另 外 ， 分 布 式 交 换 机 在 所 有 关联 主机 之 间作 为 单个 虚拟 交换 机 使 用 。 此 功能 可 使 虚 
拟 机 在 跨 主 机 进行 迁移 时 确保 其 网 络 配置 保持 一 致 。 
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3.3.2.3 虚拟 化 存储 

1. 虚拟 镜像 管理 系统 

虚拟 镜像 管理 系统 是 一 种 高 性 能 的 集群 文件 系统 。 虚 拟 镜 像 管 理 系 统 使 虚拟 化 技术 
的 应 用 超出 了 单个 存储 系统 的 限制 ， 针 对 虚拟 服务 器 环境 ， 可 让 多 个 虚拟 机 共同 访问 一 
个 整合 的 集群 式 存储 池 ， 从 而 显著 提高 了 资源 利用 率 。 

2. 虚拟 存储 管理 

存储 虚拟 化 是 将 存储 设备 抽象 为 数据 存储 ， 虚 拟 机 在 数据 存储 中 作为 一 组 文件 存储 
在 自己 的 目录 中 。 数 据 存 储 是 逻辑 容器 ， 类 似 于 文件 系统 ， 它 将 各 个 存储 设备 的 特性 隐 
藏 起 来 ， 并 提供 一 个 统一 的 模型 来 存储 虚拟 机 文件 。 存 储 虚拟 化 技术 可 以 更 好 地 管理 虚 
拟 基 础 架构 的 存储 资源 ， 使 系统 大 幅 提 升 存 储 资 源 利 用 率 和 灵活 性 ， 提 高 应 用 的 正常 运 
行 时 间 。 

3. 虚拟 存储 精简 置 备 

虚拟 存储 精简 置 备 是 一 种 通过 灵活 地 按 需 分 配 存储 空间 来 优化 存储 利用 率 的 方法 。 
精简 置 备 可 以 为 用 户 虚拟 出 比 实际 物理 存储 更 大 的 虚拟 存储 空间 ， 只 有 写 人 数据 的 虚拟 
存储 空间 才 会 被 真正 分 配 物 理 存储 ， 未 写 入 数据 的 虚拟 存储 空间 不 占用 物理 存储 资源 ， 
从 而 提高 存储 利用 率 。 

4. 虚拟 机 快照 

虚拟 机 快照 功能 是 指 把 某 一 时 刻 的 虚拟 机 状态 像 照片 一 样 保存 下 来 ， 在 需要 时 用 快 
照 功 能 把 虚拟 机 恢复 到 快照 时 的 状态 。 虚 拟 机 快照 保存 的 内 容 包括 虚拟 机 所 有 磁盘 的 信 
息 。 该 功能 应 用 于 数据 备份 和 容 灾 场 景 ， 可 提高 系统 运行 的 安全 性 和 可 靠 性 。 

5. 存储 热 迁 移 

虚拟 机 正常 运行 时 ， 管 理 员 可 通过 手动 操作 ， 将 虚拟 机 的 磁盘 迁移 到 其 他 存储 单 
元 。 存 储 热 迁 移 可 以 在 存储 虚拟 化 管理 下 的 同一 个 存储 设备 内 ， 以 及 不 同 存储 设备 之 间 
进行 迁移 。 热 迁移 使 客户 在 业务 无 损 的 情况 下 动态 调整 虚拟 机 存储 资源 ， 以 实现 设备 维 
护 、 存 储 DRS (Distributed Resource Scheduler， 分 布 式 资源 调度 ) 等 操作 。 同 一 时 刻 ， 
单个 主机 上 最 多 允许 1 个 存储 (磁盘 ) 进行 迁 入 和 迁 出 。 





























3.3.3 虚拟 化 系统 特性 


3.3.3.1 兼容 性 

FusionCompute 支持 基于 X86 硬件 平台 的 多 种 主流 服务 器 、1/O 设备 、 存 储 设备 、 
Linux/Windows 操作 系统 及 应 用 软件 ， 可 供 企业 灵活 选择 。 

3.3.3.2 可 用 性 

1. 虚拟 机 支持 热 迁 移 

FusionCompute 支持 在 一 个 计算 集群 内 自由 迁移 虚拟 机 。 在 虚拟 机 迁移 期 间 ， 用 户 
业务 不 会 有 任何 中 断 。 如 果 迁 移 失 败 ， 目 的 端的 虚拟 机 将 销毁 ， 而 用 户 仍 可 以 使 用 源 端 
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的 虚拟 机 。 该 功能 可 避免 因 服务 器 维护 造成 的 业务 中 断 ， 降 低 数据 中 心 的 电能 消耗 。 

2. 虚拟 机 支持 故障 迁移 

该 功能 支持 虚拟 机 故障 后 自动 重启 。 用 户 创建 虚拟 机 时 ， 可 以 选择 是 否 支持 故障 重 
启 ， 即 是 否 支 持 HA 功能 。 系 统 周期 性 地 检测 虚拟 机 的 工作 状态 ， 当 物理 服务 器 故障 并 
引起 虚拟 机 故障 时 ， 系 统 会 将 虚拟 机 迁移 到 其 他 物理 服务 器 重新 启动 ， 保 证 虚拟 机 能 
快速 恢复 。 目 前 系统 能 够 检测 到 的 引起 虚拟 机 故障 的 原因 包括 物理 硬件 故障 和 系统 软件 
故障 。 

3.3.3.3 安全 性 

1. 虚拟 网 络 访问 控制 
通过 设置 虚拟 网 卡 的 VLAN ID 划分 虚拟 机 所 示 的 网 络 范 围 ， 同 时 ， 提 供 DHCP 隔 
离 安 全 功能 。 

2. 业务 安全 隔离 

用 户 通过 申请 占 VPC 及 相对 应 的 VLAN， 实 现 不 同 用 户 或 不 同业 务 之 间 的 安全 
隔离 。 

3. 虚拟 机 安全 隔离 

FusionCompute 支持 安全 组 功能 ， 实 现 外 部 网 络 对 安全 组 内 虚拟 机 的 访问 权限 控制 。 

安全 组 规则 随 虚 拟 机 的 启动 而 自动 生效 ， 虚 拟 机 的 迁移 不 影响 安全 组 规则 。 























3.3.4 云 管理 系统 


华为 云 管理 平台 ( FusionManager) 聚焦 于 数据 中 心虚 拟 化 资源 管理 、 自 动 化 发 放 、 
一 体 化 的 快捷 自动 运 维 管理 ， 并 对 企业 开 管理 提供 开放 的 管理 接口 。 华 为 云 管理 系统 
将 整个 数据 中 心 云 化 ， 并 将 系统 中 用 户 可 见 的 资源 抽取 出 来 纳入 统一 的 资源 池 管 理 ， 为 
用 户 提 供 一 体 化 的 资源 管理 ， 实 现 资源 自动 发 放 。 为 用 户 提供 了 一 种 方便 获取 资源 的 途 
径 。 用 户 可 以 通过 服务 目录 自动 化 地 获取 资源 并 在 资源 上 部 署 用 户 需 要 的 应 用 。 

云 管理 软件 从 软件 层面 统一 各 资源 管理 。FusionManager 云 管理 平台 负责 全 系统 硬 
件 和 软件 资源 的 操作 维护 管理 ， 以 及 用 户 业 务 的 自动 化 运 维 。 

FusionManager 提供 服务 管理 、 服 务 自动 化 、 资 源 和 服务 保证 等 功能 ， 如 图 3-36 
所 示 。 

1) 从 底层 接 入 来 看 ，FusionManager 可 以 接 和 人 物理 资源 和 各 种 云 服务 。 其 中 ， 物 理 
资源 包括 计算 设备 、 存 储 设备 和 网 络 设备 。 

2) 从 上 层 提 供 的 功能 来 看 ，FusionManager 可 以 为 用 户 提供 ITaas 的 多 样 化 的 功能 
和 体验 。 

3) 从 FusionManager 本 身 提供 的 功能 来 看 ，FusionManager 提供 了 虚拟 和 物理 资源 
管理 、 资 源 自动 化 管理 及 其 资源 的 可 用 性 和 安全 性 保障 等 。 

因此 ，FusionManager 的 定位 是 以 云 服务 自动 化 管理 和 资源 智能 运 维 为 核心 ,构筑 
“敏捷 、 精 简 ” 的 云 数 据 中 心 管理 体验 。 
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图 3-36 ”FusionManager 功能 示意 图 


云 管理 是 云 数据 中 心 必 不 可 少 的 功能 ， 主 要 提供 如 下 功能 : 

1) 资源 统一 管理 : 实现 对 云 数据 中 心中 虚拟 资源 、 物 理 资源 的 统一 管理 ， 包 括 资 
源 的 生命 周期 管理 、 资 源 分 配 等 。 

2) 云 监 控 和 告警 ， 提供 物理 服务 器 、 虚 拟 机 、 存 储 、 交 换 机 、 物 理 集群 等 各 个 维 
度 各 种 性 能 指标 的 监控 功能 ;提供 各 种 软件 、 硬 件 设 备 的 不 同 级 别 的 告警 界面 并 呈现 、 
邮件 转发 、 告 警 短信 提示 功能 ; 各 类 物理 资源 、 虚 拟 资源 的 拓扑 呈现 。 

3) 开放 APILSDK: 对 外 提供 开放 的 API 接口 ， 并 提供 SDK 开发 包 ， 方便 用 户 或 第 
三 方 进行 二 次 开发 ， 对 系统 进行 进一步 集成 。 

4) VPC 和 VDC 功能 : 为 满足 企业 内 部 总 部 和 多 个 分 支 机 构 之 间或 者 多 个 业务 部 
门 之 间 对 数据 中 心 资源 自主 使 用 、 自 主管 理 的 需求 ，VPC 功能 可 以 从 网 络 上 对 不 同 分 
文 机 构 或 不 同 部 门 的 物理 资源 、 虚 拟 资源 进行 隔离 ， 保 证 不 同 分 支 机 构 或 不 同 部 门 的 资 
源 在 各 自 子 网 内 访问 ; 虚拟 数据 中 心 (Virtual Data Center，VDC) 功能 是 从 组 织 的 角度 
设置 的 逻辑 概念 ， 可 以 是 一 个 部 门 或 一 个 分 支 机 构 ， 每 个 VDC 可 以 被 管理 员 划 分 一 定 
的 物理 资源 或 虚拟 资源 ，VDC 管理 员 可 以 管理 该 VDC 下 的 资源 ， 从 资源 管理 、 使 用 的 
角度 进行 隔离 。 

5) 应 用 弹性 伸缩 : 系统 按照 管理 员 设 置 的 应 用 资源 使 用 的 变更 策略 ， 根 据 应 用 负 
载 的 大 小 自动 调整 应 用 所 需要 的 虚拟 机 数量 ， 以 达到 资源 按 需 使 用 ， 弹 性 伸缩 。 

6) 异 构 资 源 池 管理 : 华为 云 管理 平台 FusionManager 不 仅 能 管理 华为 自己 的 Fu- 
sionCompute 构建 的 虚拟 化 资源 池 ， 而 且 可 以 管理 VMware vSphere 和 Citrix XenServer 构 
建 的 虚拟 化 资源 池 ， 从 而 实现 管理 流程 和 操作 的 完全 统一 。 

7) 基础 设施 管理 : 主要 包括 物理 服务 器 、 交 换 机 、 存 储 设备 的 接 入 、 监 控 、 告 
警 ， 以 及 物理 服务 器 的 上 、 下 电 控 制 。 
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8) 虚拟 负载 均衡 用户 可 以 在 Fusion Manager 上 申请 负载 均衡 器 ， 将 业务 虚拟 机 关 
联 到 负载 均衡 器 。 负 载 均衡 器 根据 用 户 设 定 的 负载 均衡 策略 ， 将 业务 请 求 均 匀 分 发 到 与 
之 关联 的 虚拟 主机 上 ， 使 得 每 个 业务 虚拟 机 的 负载 基本 保持 均衡 ， 保 证 业务 运行 的 稳定 
性 和 可 靠 性 。 

9) 报表 管理 : 支持 将 监控 数据 导出 为 报表 ， 便 于 用 户 进行 进一步 分 析 和 管理 。 

10) 系统 管理 : 包括 用 户 管理 、 系 统 配置 、 定 时 器 设置 、 设 置 密码 规则 等 功能 。 

11) 桌面 管理 : FusionManager 中 集成 了 华为 桌面 云 系统 的 管理 入口 ， 可 以 支持 桌 
面 云 、 云 主机 的 统一 管理 。 


3.4.1 虚拟 化 技术 


3.4.1.1 计算 

QingCloud 的 底层 虚拟 化 技术 采用 了 国际 最 主流 的 KVM ( Kernel-based Virtual Ma- 
chine，KVM 基于 内 核 的 虚拟 机 ) ， 是 一 个 开源 的 系统 虚拟 化 模块 ， 自 Linux 2. 6. 20 之 后 
集成 在 Linux 的 各 个 主要 发 行 版 本 中 。 它 使 用 Linux 自 且 的 调度 需 进 行 管理 ， 所 以 相对 
于 Xen， 其 核心 源码 很 少 。KVM 目前 已 成 为 学 术 界 的 主流 VMM ( Virtual Machine Man- 
ager) 之 一 。KVM 的 虚拟 化 得 到 硬件 厂商 的 支持 (如 Intel 或 者 AMD 虚拟 化 技术 ) ， 是 
基于 硬件 的 完全 虚拟 化 ， 因 此 其 性 能 超过 了 其 他 虚拟 化 技术 ， 经 过 青云 调 优 之 后 的 
KVM 更 是 将 这 种 性 能 发 挥 到 极致 ， 虚 拟 资源 的 能 力 可 以 达到 99.98% 的 物理 资源 的 
能 力 。 

软件 定义 网 络 (Software Defined Network，SDN) 是 QingCloud 的 核心 技术 之 一 ， 而 
QingCloud 的 私有 网 络 也 是 SDN 技术 在 云 计 算 领域 应 用 的 成 功 范 例 。 目 前 认为 ， 云 计算 
将 替代 传统 硬件 形式 实现 开 产业 的 真正 变 草 ， 成 为 新 型 IT 形式。 因此 ， 云 计算 必须 满 
足 企业 级 IT 的 需求 ， 在 功能 层面 传统 全 能 够 提供 的 ， 云 计算 也 需要 提供 ,例如 组 网 功 
能 ， 传 统 开 能 够 实现 的 性 能 ， 云 计算 也 要 实现 ; 传统 IT 做 不 到 的 ， 云 计算 仍然 要 做 
到 ， 例 如 弹性 、 简 便 与 廉价 。 

3.4.1.2 存储 

QingCloud 采用 软件 定义 存储 ， 针 对 用 户 不 同类 型 数据 的 不 同 存储 需求 提供 了 不 同 
的 存储 解决 方案 。 存 储 设计 主要 考虑 容量 与 性 能 两 个 方面 ， 如 图 3-37 所 示 。 

运行 或 在 线 系统 需要 高 性 能 存储 。 用 户 的 业务 数据 几乎 都 会 存储 在 数据 库 里 面 ， 需 
要 高 性 能 存储 。 

离线 或 备份 数据 需要 高 容量 ， 低 价格 。 这 部 分 数据 通常 量 很 大 ， 但 是 对 性 能 要 求 不 
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容量 
对 象 存储 S3 


容量 型 块 存储 5TB 
性 能 型 块 存储 128MB/s 超 高 性 能 块 存储 SSD 








图 3-37 容量 与 性 


高 ， 对 不 经 常用 的 东西 也 不 希望 负担 高 额 成 本 。 

所 有 的 数据 都 必须 是 可 靠 的， 绝对 不 能 丢失 。 所 有 严肃 的 企业 用 户 都 会 将 可 靠 放 在 
最 重要 的 位 置 上 ， 因 此 考验 云 服务 商 存 储 虚 拟 化 技术 能 力 的 重点 就 在 于 充分 保障 数据 可 
靠 的 基础 上 实现 高 性 能 甚至 超 高 性 能 。 同 时 ， 还 应 充分 考虑 成 本 与 价格 因素 。 

从 上 面 的 分 析 来 看 ， 之 所 以 没有 银 弹 方案 ， 是 因为 用 户 对 存储 的 需求 差异 很 大 ， 不 
同 的 需求 需要 用 不 同 的 方式 来 解决 。 鉴 于 此 ，QingCloud 推出 了 一 种 多 维 块 存储 解决 方 
案 以 满足 不 同 的 企业 用 户 各 种 类 型 数据 存储 需求 ， 如 图 3-38 所 示 。 


对 象 存储 超 高 性 能 块 存储 





Pe 
CC 














多 维 块 存储 解决 方案 


容量 型 块 存储 


3-38 QingCloud 多 维 块 存储 解决 方案 





3.4.1.3 网 络 

传统 网 络 方案 配置 复杂 ， 难 于 扩展 ， 同 时 也 无 法 支持 云 上 大 规模 的 用 户 和 使 用 ， 而 
SDN 技术 为 Iaas 的 网 络 方面 提供 了 一 个 非常 好 的 方向 。 

通常 企业 用 户 对 网 络 方面 有 着 如 下 需求 : 
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1) 自由 组 网 。 

2) 对 遗留 IT 环境 无 侵入 。 

3) 安全 性 ，100% 二 层 隔离 。 

4) 构建 混合 云 。 

5) 提升 服务 体验 。 

但 传统 网 络 方案 存在 着 如 下 问题 

1) VLAN 4K 限制 。 

2) 部 署 困 难 。 

3) 难于 扩展 。 

4) 成 本 压力 。 

采用 SDN 技术 ，QingCloud 很 好 地 解决 了 用 户 实际 需求 ， 实 现 了 如 下 目标 : 

1) 物理 架构 对 接 传统 IT 环境 。 

2) 控制 与 转发 分 离 。 

3) 分 布 式 网 络 控 制 。 

4) 提供 开放 式 API 支持 。 

5) 网 络 功能 虚拟 化 ， 云 中 网 络 具 有 灵活 性 。 

6) 利用 通用 硬件 和 软件 ， 摆 脱 专 有 设备 。 

对 于 具体 的 设计 方面 ，QingCloud 的 SDN 网 络 分 为 用 户 层 和 物理 层 两 个 方面 。 

(1) 用 户 层 ”用 户 层 主要 考虑 功能 设计 ， 二 层 网 络 (交换 机 ) 实现 不 同 用 户 间 
100% 的 隔离 ; 三 层 网 络 (路 由 器 ) 连接 二 层 设备 ， 进 行 端口 转发 、 过 滤 控 制 ， 并 支持 
VPN 、GRE 、IPsec 隧道 等 协议 。 针 对 高 级 用 户 的 需求 ，QingCloud 提供 自 管 网 络 ， 即 只 
提供 网 络 设备 ， 把 一 切 配 置 的 权利 交 给 用 户 ， 满足 他 们 的 高 级 需求 。 

(2) 物理 层 ”物理 层 方面 ， 需 要 同时 考虑 物理 链 路 和 逻辑 链 路 两 个 层面 ， 而 云 中 的 
逻辑 链 路 又 包含 外 部 和 内 部 之 间 的 数据 流 ， 以 及 内 部 之 间 资 源 之 间 的 数据 流 两 个 方面 。 

1) 外 部 和 内 部 之 间 的 数据 流 ”需要 考虑 流量 如 何 进 入 并 到 达 某 个 资源 ， 同 时 还 要 
考虑 如 何 正确 返回 。 因 为 资源 会 随时 在 云 内 迁移 ， 改 变 在 云 中 的 位 置 ， 所 以 对 应 的 逻辑 
链 路 也 需要 随时 变更 。 

2) 内 部 资源 之 间 的 数据 流 “ 需 要 考虑 流量 如 何在 内 部 流动 。 例 如 ， 一 个 虚拟 私有 
网 络 有 多 台 主 机 ， 每 台 主 机 都 运行 在 不 同 的 位 置 ， 这 个 网 络 会 不 停 地 有 主机 加 入 和 退 
出 ， 主 机 的 位 置 也 会 因为 迁移 而 不 停 地 变化 。 

由 此 可 见 ， 以 上 两 个 方面 都 是 动态 的 网 络 流 ， 因 此 如 何在 静态 的 物理 链 路 上 处 理 或 
者 引导 动态 的 逻辑 流 是 QingCloud 软件 定义 网 络 要 解决 的 核心 问题 。 而 其 中 最 关键 的 
是 : 物理 链 路 和 让 辑 链 路 和 设计 和 管理 需要 解 藉 ;动态 的 逮 辑 链 路 管理 ， 需 要 自行 做 流 
控 (控制 + 转发 )。 这 其 实 就 是 QingCloud SDN 的 核心 理念 。 

在 具体 的 架构 设计 方面 ，QingCloud 网 络 控制 节点 分 散 运 行 于 任意 物理 或 虚拟 设备 
中 ， 网 关节 点 用 于 流 控 的 公共 池 ， 代 理 节 点 执行 于 虚拟 交换 机 中 。QingCloud SDN 网 络 
架构 如 图 3-39 所 示 。 
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3-39 QingCloud SDN 网 络 架 构 


3.4.2 云 管理 方案 


QingCloud 虚拟 资源 的 调度 管理 完全 由 具备 人 工 智 能 的 软件 机 器 人 社区 进行 掌控 。 
这 里 面 有 专门 负责 计算 、 存 储 、 网 络 、 安 全 的 机 器 人 ， 也 有 负责 预警 、 故 障 、 监 控 、 元 
余 的 机 器 人 ， 它 们 会 主动 上 报 自己 的 任务 负荷 ， 也 会 将 上 层 新 派发 过 来 的 任务 进行 分 
解 ， 我 们 会 在 网 络 虚拟 化 关键 技术 中 详细 描述 实现 的 机 制 。 通 过 机 器 人 社区 实现 自动 任 
务 调度 的 青云 系统 没有 技术 上 的 资源 管理 上 限 ， 只 要 网 络 可 达到 ， 云 平台 操作 系统 就 可 
以 管理 成 千 上 万 的 物理 资源 。 这 样 的 架构 带 来 的 另 一 个 好 处 就 是 在 上 线 以 后 的 运营 与 维 
护 之 中 ,大量 的 脏 活 累 活 都 完全 由 不 知 疲倦 的 软件 机 器 人 承担 ， 这 将 大 幅度 减少 后 期 维 
护 成 本 。 

正 是 因为 采用 了 KVM 这 样 全 虚拟 化 技术 ， 青 云 系统 可 以 为 用 户 提供 支持 QoS 策略 
用 于 保障 虚拟 机 进行 资源 分 配 ， 不 会 造成 用 户 之 间 共 享 物理 资源 时 相互 干扰 ， 这 是 以 前 
半 虚 拟 化 技术 所 不 能 达到 的 。 

多 点 、 蜂 域 自动 化 调度 是 云 平台 操作 系统 另外 一 个 特点 ， 目 前 已 经 上 线 的 
www. qingcloud. com 就 是 一 个 多 Zone 部 署 的 系统 ， 已 经 运行 超过 上 千 个 虚拟 服务 器 ， 文 
持 X86 架构 服务 咒 的 管理 数量 无 设计 上 限 ， 在 北京 与 广东 两 地 实现 统一 管理 。 

机 器 智能 (Machine Intelligence) 是 QingCloud 云 计 算 系 统 资源 调度 与 管理 的 核心 技 
术 之 一 ， 其 基本 理念 是 通过 软件 实现 智能 的 资源 调度 与 管理 ， 将 基础 的 运营 维护 工作 交 
由 代码 管理 ， 将 人 力 资源 从 烦琐 的 基础 设施 维护 中 解放 出 来 ， 专 注 于 代码 层面 的 工作 ， 
从 而 最 大 限度 地 提升 系统 效率 ， 避 免 人 为 失误 并 降低 运 维 投入 。 

3.4.2.1 资源 安置 

资源 安置 ( Resource Placement) 是 云 计算 领域 最 基础 和 核心 的 问题 之 一 ， 其 解决 
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的 是 大 量 工 作 负 载 如 何 最 合理 、 有 效 地 分 配 到 分 布 式 集群 中 的 不 同 物理 设备 中 。 与 大 多 
数 云 服务 商 不 同 的 是 ，QingCloud 的 资源 安置 策略 (Resource Placement Policy) 除了 参 
考 物 理 设备 实时 的 工作 负载 情况 之 外 ， 还 将 设备 的 历史 状态 和 信用 值 (Credit) 作为 重 
要 参考 指标 ， 对 三 大 指标 分 配 不 同 权 重 ， 经 过 科学 计算 完成 最 佳 的 资源 安置 。 

1. 根据 工作 负载 情况 ( Workload) 

根据 均匀 化 法 则 ， 判 断 当 期 物理 设备 工作 负载 情况 ， 进 行 任务 分 配 ， 这 是 最 基础 的 
判断 方法 。 其 局 限 性 是 当期 设备 的 工作 负载 情况 并 不 能 代表 设备 的 真正 工作 负载 情况 。 

2. 根据 历史 状态 

所 有 计算 机 在 运行 过 程 中 ,不 管 是 物理 的 还 是 虚拟 的 设备 ， 它 们 在 运行 过 程 中 ， 实 
际 上 是 有 大 量 的 历史 数据 的 ， 每 时 每 刻 每 分 每 秒 的 数据 都 应 该 记录 下 来 ,予以 分 析 。 这 
样 才能 够 非常 清晰 地 知道 ， 每 一 个 设备 ， 不 管 是 物理 的 还 是 虚拟 的 ， 它 的 变化 曲线 是 怎 
样 的 ， 这 个 是 需要 抓 住 的 第 二 个 历史 因素 。 

3. 根据 每 台 物 理 设 备 的 信用 值 〈Credit) 

根据 机 器 故障 规律 、 历 史 运 行情 况 等 大 量 数据 计算 并 判断 物理 设备 健康 状态 ， 授 予 
其 一 定 的 信用 值 ， 该 信用 值 也 是 系统 自动 判断 和 安置 资源 的 重要 参照 因素 。 

4. 运行 监控 系统 (Monitoring ) 

运行 监控 工作 主要 是 通过 P2P 软件 机 器 人 社区 来 承担 ， 整 个 过 程 都 是 完全 自动 的 ， 
需 人 的 干涉 和 参与 。 监 控 内 容 主要 包括 故障 、 性 能 、 安 全 和 配置 ， 见 表 3-1。 

通过 运行 监控 系统 ， 用 户 可 以 很 方便 地 了 解 系统 运行 情况 以 及 分 析 和 定位 问题 。 监 
控 信息 分 为 不 同 的 粒度 ， 从 lmin 到 一 年 的 历史 数据 都 有 ， 另 外 还 有 10s 级 别 的 实时 
数据 。 
































表 3-1 监控 内 容 
监控 类 型 监控 内 容 


。 服务 器 状态 监控 ,包括 CPU 、 内 存 和 磁盘 状态 
。 网 络 状态 监控 




















。CPU 利用 率 监 控 
。 内 存 利用 率 监控 
性 能 监控 。 虚拟 内 存 利用 率 监控 























磁盘 读 写 监控 
网 络 流量 监控 











安全 监控 。TCP 连接 数 监 控 
配置 监控 。 用 户 资源 使 用 情况 监控 ,判断 是 否 超出 配额 限制 



































3.4.2.2 故障 预测 
如 果 说 资源 安置 更 多 是 根据 静态 的 数据 进行 分 析 和 分 配 ， 那 么 故障 预测 除了 要 考虑 
大 量 历 史 数 据 之 外 还 要 更 多 地 基于 实时 数据 流 (Real-time Data Stream) 进行 超 快速 地 
实时 分 析 。 在 多 大 程度 上 能 够 对 可 能 出 现 的 风险 和 故障 进行 准确 的 预测 ， 对 大 型 云 平台 
的 稳定 运行 至 关 重要 ， 可 以 最 大 程度 地 避免 故障 的 发 生 以 及 降低 可 能 出 现 的 故障 后 果 。 
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3.4.2.3 故障 处 置 

故障 处 置 分 为 两 个 阶段 ， 即 人 为 设置 并 更 新 规则 和 机 器 学 习 自 动 创建 新 规则 。 在 设 
计 上 ， 没 有 单 点 故障 。 无 论 计算 、 存 储 还 是 网 络 ， 所 有 功能 不 依赖 于 任意 特定 的 服务 
器 、 硬 盘 、 交 换 或 路 由 设备 ， 整 个 系统 都 是 通过 一 个 称 为 P2P 机 器 人 社区 (Robots 
Community) 进行 控制 的 ， 故 障 设备 可 以 快速 被 取代 ， 负 载 可 以 实时 转移 到 其 他 设备 
上 ， 以 保证 故障 无 害 。 
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第 4 章 
开源 云 计算 框架 


4.1 云 计算 领 域 开源 软件 概述 


开源 软件 和 云 计算 分 别 代 表 着 软件 开发 与 IT 服务 模式 变革 ， 这 两 种 历史 潮流 汇合 
在 一 起 ， 形 成 了 推动 云 计算 发 展 的 强大 动力 。 开 源 作 为 一 种 无 形 的 力量 ， 对 于 云 计算 的 
普及 和 应 用 起 着 不 可 忽略 的 作用 ， 现 在 的 云 计算 已 不 再 是 一 个 新 的 尖端 技术 ， 它 已 成 为 
彻底 改变 我 们 使 用 和 开发 应 用 软件 方式 的 一 种 极 有 价值 的 重要 技术 。 在 云 计算 的 不 同 服 
务 层次 (IaaS、PaaS 和 SaaS) 存在 着 许多 优秀 的 开源 软件 。 








4. 1.1 基础 设施 即 服 务 (IaaS) 


1. OpenStack 

OpenStack 是 目前 云 计 算 领 域 最 受 欢 迎 的 解决 方案 。OpenStack 于 2010 年 7 月 发 
布 ， 并 且 了 迅速 成 为 标准 开源 Iaas 解决 方案 。OpenStack 是 两 种 云 计划 的 组 合 ， 即 Rack- 
Space Hosting (Cloud Files) 和 NASA 的 Nebula platform。OpenStack 是 用 Python 语言 开 
发 的 ， 并 且 在 Apache 许可 下 的 开发 活动 非常 活跃 。OpenStack 使 用 一 种 模块 化 架构 来 管 
理 一 组 计算 和 存储 服务 需 。 可 通过 三 个 主要 组 件 来 定义 OpenStack， 即 Nova (表示 计算 
端 ) 、Swift (表示 对 象 存储 ) 和 Glance (实现 映像 服务 ) 。OpenStack 支持 各 种 各 样 的 虚 
拟 管理 程序 ， 包 括 KVM、Linux Containers (LXC)、QEMU、UML、Xen 和 XenServer。 
OpenStack 现在 促进 了 云 基础 架构 的 开放 标准 ， 并 且 因 此 其 采用 率 也 在 迅速 增加 。 

2. CloudStack 

CloudStack 是 一 个 开源 的 具有 高 可 用 性 及 扩展 性 的 云 计 算 平台 ， 它 可 以 加 速 高 伸缩 
性 的 公共 云 和 私有 云 的 部 署 、 管 理 、 配 置 。 使 用 CloudStack 作为 基础 ， 数 据 中 心 操作 者 
可 以 快速 方便 地 通过 现存 基础 架构 创建 云 服 务 。CloudStack 的 前 身 是 Cloud. com ， 后 来 
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被 思 杰 收购 。2011 年 7 月，Citrix 收购 Cloud. com， 并 将 CloudStack100% 开源 。2012 年 
4 月 5 日 ，Citrix 又 宣布 将 其 拥有 的 CloudStack 开源 软件 交 给 Apache 软件 基金 会 管理 ， 
目前 CloudStack 已 成 为 Apache 基金 会 最 大 的 顶级 项 目 之 一 。 

CloudStack 支持 管理 大 部 分 主流 的 Hypervisor， 如 KVM、XenServer、VMware 、Ora- 
cle VM 、Xen 等 。 

3. EUCALYPTUS 

EUCALYPTUS (Elastic Utility Computing Architecture for Linking Your Programs to Use- 
ful Systems) ， 是 一 种 开源 的 软件 基础 结构 ， 用 来 通过 计算 集群 或 工作 站 群 实现 弹性 的 、 
实用 的 云 计 算 。 它 最 初 是 美国 加 利 福 尼 亚 大 学 Santa Barbara 计算 机 科学 学 院 的 一 个 人 研 
究 项 目 ， 其 独特 之 处 是 其 接口 与 Amazon Elastic Compute Cloud (Amazon EC2 一 一 Amazon 
的 云 计算 接口 ) 兼容 。 此 外 ，EUCALYPTUS 还 包含 了 Walrus， 它 是 一 个 云 存储 应 用 程 
序 ， 与 Amazon Simple Storage Service ( Amazon S3 一 一 Amazon 的 云 存储 接口 ) 兼容 。 

对 于 虚拟 管理 程序 ，EUCALYPTUS 支持 KVM/Linux 和 Xen; 对 于 集群 管理 ， 它 又 
包括 了 Rocks 集群 分 发 。 

4. OpenNebula 

OpenNebula 是 一 个 开源 云 计算 基础 管理 工具 ， 用 来 方便 管理 员 在 数据 中 心 统 一 部 
署 、 创 建 、 分 配 和 管理 大 量 的 虚拟 机 ， 提 供 IaaS。 除 了 支持 私有 云 结构 之 外 ，OpenNeb- 
ula 还 支持 混合 云 的 概念 。 混 合 云 允许 私有 云 基 础 架构 与 公有 云 基 础 架构 (比如 Ama- 
zon) 的 集成 以 提供 更 高 级 别 的 伸缩 。 

OpenNebula 支持 Xen、KVM/Linux 和 VMware， 并且 依 赖 于 libvirt 等 元 素来 进行 管 
理 和 内 省 。 

5. Nimbus 

Nimbus 是 一 种 以 科学 计算 为 中 心 的 Iaas 解决 方案 。 使 用 Nimbus ， 可 以 借助 远程 资 
源 〈 比 如 由 Amazon EC2 提供 的 远 端 资源 ) 并 能 对 它们 进行 本 地 管理 (配置 、 部 署 VM 
和 监视 等 )。Nimbus 由 Workspace Service project (Globus. org 的 一 部 分 ) 演变 而 来 ， 由 
于 依赖 于 Amazon EC2， 所 以 Nimbus 支持 Xen 和 KVM/Linux。 

6. Xen 云 平 台 

Citrix 已 经 将 Xen 集成 到 一 个 IaaS 平台 ，Xen 被 用 作 虚 拟 管理 程序 ， 同 时 又 并 人 了 
其 他 的 开源 功能 ， 比 如 Open vSwitch。Xen 解决 方案 的 优势 之 一 是 其 着 重 于 来 自 Kensho 
项 目的 基于 标准 的 管理 [包括 OVF、Distributed Management Task Force (DMTF)、Com- 
mon Information Model (CIM) 和 Virtualization Management Initiative (VMAN)]。Xen 管 
理 栈 支持 SLA 保障 ， 以 及 具体 的 退 款 标准 。 

7. OpenQRM 

OpenQRM 是 一 种 数据 中 心 管理 平台 ， 提 供 了 单个 控制 台 来 管理 整个 虚拟 化 数据 中 
心 ， 在 架构 上 它 允 许 插入 以 便 集成 第 三 方 工具 。OpenQRM 集成 了 对 高 可 用 性 (通过 元 
余 ) 的 支持 ， 并 支持 各 种 各 样 的 虚拟 管理 程序 ， 包 括 KVM/Linux、Xen、VMware 和 
Linux VServer。 
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4.1.2 平台 即 服 务 (PaaS) 


l. Cloud Foundry 

Cloud Foundry 是 VMware 于 2011 年 4 月 12 日 推出 的 业界 第 一 个 开源 PaaS 云 平 台 ， 
它 支 持 多 种 框架 、 语 言 、 运 行 环境 、 云 平台 及 应 用 服务 ,使 开发 人 员 能 够 在 几 秒 钟 内 进 
行 应 用 程序 的 部 署 和 扩展 ， 无 需 担心 任何 基础 架构 的 问题 。 同 时 ， 它 本 身 是 一 个 基于 
Ruby on Rails 的 由 多 个 相对 独立 的 子 系统 通过 消息 机 制 组 成 的 分 布 式 系统 ， 使 平台 在 各 
层级 都 可 水 平 扩展 ， 既 能 在 大 型 数据 中 心 运行 ， 也 能 运行 在 一 台 桌 面 计算 机 中 ， 两 者 使 
用 相同 的 代码 库 。 

作为 新 一 代 云 应 用 平台 ，Cloud Foundry 专 为 私有 云 计 算 环 境 、 企 业 级 数据 中 心 和 
公有 云 服务 提供 商 所 打造 。Cloud Foundry 云 平台 可 以 简化 现代 应 用 程序 的 开发 、 交 付 
和 运行 过 程 ， 在 面 对 多 种 公有 云 和 私有 云 的 选择 、 符 合 业界 标准 的 高 效 开发 框架 以 及 应 
用 基础 设施 服务 时 ， 可 以 显著 提高 开发 者 在 云 环境 中 部 署 和 运行 应 用 程序 的 能 

2. Openshift 

OpenShift 是 RedHat 公司 推出 的 一 个 PaaS 云 计 算 应 用 平台 ， 开 发 者 可 以 在 上 面 构 
建 、 测 试 、 部 署 和 运行 应 用 程序 ， 它 支持 Java、Ruby、Node. js、Python 、PHP 、Perl 等 
众多 语言 环境 和 开发 框架 ， 并 且 支 持 MySQL、PostgreSQL、MongoDB 等 数据 库 服 务 。 最 
重要 的 是 ， 它 的 整个 体系 都 是 开源 的 ， 与 Iaas 开源 云 计算 软 件 OpenStack 一 样 ， 对 于 拥 
有 硬件 资源 而 希望 部 署 云 的 服务 提供 商 来 说 很 有 研究 价值 。 

OpenShift Online 服务 构建 在 Red Hat Enterprise Linux 上 。Red Hat Enterprise Linux 
提供 集成 应 用 程序 ， 运 行 库 和 一 个 配置 可 伸缩 的 多 用 户 单 实 例 的 操作 系统 ， 以 满足 企业 
级 应 用 的 各 种 需求 。 












































4.1.3 ”软件 即 服 务 ( SaaS) 





SaaS 是 一 种 通过 Internet 提供 软件 的 模式 。 它 的 目标 是 用 户 不 用 再 购买 软件 ， 而 改 
用 向 提供 商 租 用 基于 Web 的 软件 来 管理 企业 经 营 活动 ， 且 无 需 对 软件 进行 维护 。 它 消 
除了 企业 购买 、 构 建 和 维护 基础 设施 和 应 用 程序 的 需要 ， 从 而 降低 了 成 本 。 可 见 SaaS 
是 提供 面向 某 一 业务 领域 的 服务 ， 因 此 一 般 由 商业 公司 提供 收费 服务 或 者 互联 网 企业 提 
供 的 免费 服务 ， 而 不 是 一 个 简单 的 开源 软件 ， 在 此 不 对 这 些 SaaS 进行 详细 讨论 。 

















4.2 Cloud OS 开源 软件 


4.2.1 OpenStack 架构 


OpenStack 是 一 个 开源 的 IaaS 云 计 算 平 台 ， 由 Rackspace Cloud 和 National Aeronau- 
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tics and Space Administration ( NASA， 美国 国家 航空 和 航天 局 ) 共同 发 起 。 自 成 立 以 来 ， 
OpenStack 已 经 获得 业界 广泛 认可 ， 目前， 它 的 支持 者 数量 已 超过 100 个 ， 其 中 包括 许 
多 业内 最 大 的 组 织 。 它 目前 的 白金 会 员 包 括 IBM、AT&T、Canonical、HP、Nebula、 
Rackspace 、Red Hat 和 SUSE。 

4.2.1.1 总 体 架 构 


如 图 4-1 所 示 ，OpenStack 包括 9 个 核心 模块 ， 与 其 他 开源 Iaas 相 比 ，OpenStack 
在 架构 设计 具有 松 耦 合 、 高 可 扩展 、 分 布 式 的 特点 ， 采 用 纯 Python 实现 。 总 体 架构 设 
计 先 进 ， 模 块 划分 、 组 件 交 互 、 消 息 机 制 、 异 常 处 理 和 扩展 机 制 考虑 周全 ， 有 利于 扩 
展 、 持 续 优化 和 规模 化 部 署 。OpenStack 在 设计 上 采用 统一 的 框架 和 标准 API， 同 时 文 
持 多 种 技术 实现 和 第 三 方 产品 。0OpenStack 核心 模块 的 名 称 及 描述 见 表 4-1。 
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Monitors: 
Provide 
Auth Keystone 








Backups Volumes 
图 4-1 ”OpenStack 概念 架构 图 

注 : Heta: 服务 编排 组 件 ，Horizon: Web 自 服务 门户 ; Neutron: 网 络 服务 组 件 ，Cinder: 存储 服务 组 件 ; 

Nova: 计算 服务 组 件 ; Ceilometer: 实现 监控 和 计量 的 组 件 ; Glance: 镜像 管理 服务 ; VM: 虚拟 机 ;， Swift: 对 象 

存储 服务 组 件 ; Keystone: 身份 认证 和 授权 的 组 件 ; Orchestrates Cloud: 云 流程 编排 ，Provide Network Connectivity: 

提供 网 络 连 接 ; Provide Volumes: 提供 卷 ; Provide Images: 提供 镜像 ;Stores Images: 存储 镜像 ，Monitors: 监控 ; 

Provide Auth :提供 权限 ;Backups Volumes: 备份 卷 。 

表 4-1 OpenStack 核心 模块 的 名 称 及 描述 

服务 模块 名 称 描 述 


WEB 自 服务 门户 ,用 户 通过 该 服务 与 OpenStack 的 各 服务 进行 交互 ,如 启 
动 虚拟 机 实例 分配 IP 地 址 \ 设 置 访问 控制 等 
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Dashboard Horizon 
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( 续 ) 





服务 模块 名 称 描述 
计算 服务 组 件 ,OpenStack 的 核心 服务 ,管理 





理 OpenStack 环境 中 的 虚拟 机 实 





Compute Nova 


























































































































网 络 服务 组 件 ,把 网 络 连接 作为 一 个 服务 提供 给 OpenStack 其 他 服务 ,例如 
Networking Neutron 计算 服务 。 允 许 终 端 用 户 创 建 并 添加 网 络 接 口 ,通过 一 个 插件 式 架构 支持 大 
量 网 络 厂商 设备 及 网 络 技术 
Object Storage Swift 对 象 存储 服务 组 件 
Piece ara ee 块 存储 管理 组 件 , 向 虚拟 机 提供 可 用 于 持久 存储 的 块 存储 服务 。 插 件 式 的 
和 驱动 架构 支持 各 种 块 存储 设备 ,如 本 地 磁盘 .LVM 或 各 大 厂商 提供 的 设备 
共用 服务 
Identity service Keystone 身份 认证 和 授权 组 件 
ee a 镜像 管理 服务 , 本 身 不 负责 存储 、 支 持 本 地 存储 、NFS、Swift、Sheepdog 和 
人 Ceph。 支 持 多 个 数据 中 心 的 镜像 管理 
Telemetry Ceilometer 实现 监控 和 计量 组 件 
更 高 层 服 务 
Oa 和 服务 编排 组 件 使 用 自 带 的 HOT 模板 或 AWS 的 CloudFormation 模板 ,通过 














OpenStack 中 各 服务 的 REST API, 将 各 组 件 的 资源 组 织 形 成 云 应 














4.2.1.2 计算 组 件 

OpenStack Compute (Nova) 控制 云 计 算 架 构 (基础 架构 服务 的 核心 组 件 ) 。 它 是 用 
Python 编写 的 ， 创 建 了 一 个 抽象 层 ， 使 CPU、 内存、 网 络 适 配器 和 硬盘 驱动 器 等 商品 服 
务 器 资源 实现 虚拟 化 ， 并 具有 提高 利用 率 和 自动 化 的 功能 。 

如 图 4-2 所 示 ，Nova 采用 无 共享 的 架构 ， 主 要 组 件 可 以 部 署 在 不 同 的 机 器 上 ， 依 
靠 消息 队列 实现 组 件 间 的 异步 通信 ， 虚 拟 机 的 信息 和 状态 存储 在 数据 库 中 。 它 主要 由 一 
系列 的 守护 进程 组 成 :调度 程序 (Nova-scheduler) 、 计 算 (Nova-compute) 守护 进程 、 
网 络 管理 (Nova-network) 和 卷 管理 ( Nova-volume)。 

1) Nova-scheduler 确定 为 虚拟 机 请 求 分 配 哪个 计算 主机 ， 只 在 进行 配置 时 做 出 此 
决定 ， 不 会 重新 分 配 正在 运行 的 实例 。 

2) Nova-compute 用 于 管理 与 虚拟 机 管理 程序 和 虚拟 机 的 通信 ， 息 队 列 中 获取 
任务 ， 并 使 用 虚拟 机 管理 程序 的 API 执行 虚拟 机 的 创建 和 删除 等 任务 ， 负 责 更 新 数据 
库 中 的 状态 。 

3) Nova-network 负责 管理 IP 转发 、 网 桥 和 虚拟 局 域 网 。 在 OpenStack 的 后 期 版 本 
中 新 的 网 络 服务 组 件 OpenStack Neutron 不 仅 涵盖 了 Nova-network 的 功能 ， 而 且 能 提供 
许多 新 的 特性 

4) Nova-volume 负责 处 理 将 块 存储 卷 附 加 到 虚拟 机 以 及 从 虚拟 机 分 离 块 存储 卷 
(类 似 于 Amazon Elastic Block Store ) 。 在 OpenStack 的 后 期 版 本 中 此 功能 已 被 提取 到 
OpenStack Cinder。 
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Keystore 


Cloud Controller 








Nova Compute 























卷 管 理 医 网 络 管理 | 
(Nova-volume) | (Nova-network) | 





4-2 ”OpenStack Nova 架构 
注 : Nova: 计算 服务 组 件 ，Cloud Controller : 云 控制 器 :Nova API : API (应 用 程序 编程 接口 ) 服务 ; MQ : 消 

息 中 间 件 ，Nova DB，Nova 数据 库 ，Nova Compute: 计算 服务 ;Keystone; 身份 认证 和 授权 的 组 件 ，Clance: 镜像 管 
理 服 务 ，Glance- API: Glance 应 用 程序 编程 接口 ; Glance-registry: Glance 注册 ， 对 数据 库 进行 增删 改 查 ;，Glance 
DB: Glance 数据 库 。 

Nova-scheduler 作为 一 个 后 台 进 程 运行 ， 它 会 根据 一 定 的 算法 从 计算 资源 池 中 选择 
一 个 计算 节点 用 于 启动 新 的 VM 实例 ， 其 步 又 主要 有 以 下 两 步 ， 

1) 根据 配置 文件 中 定义 的 过 滤器 ( Filter) 获得 候选 主机 ，Nova-scheduler 过 滤器 
如 图 4-3 所 示 。 

2) 使 用 不 同 的 算法 计算 权 值 (Weight) 获取 最 终 的 节点 。 

GD Costsand Weights: 主机 进行 权 值 的 计算 ， 根 据 策略 选择 相应 的 某 一 台 。 

@) ChanceScheduler: 从 候选 节点 中 随机 选择 一 个 节点 。 

@) MultiScheduler: 包含 多 个 子 调度 程序 ， 如 可 以 为 Nova-compute 和 Nova-volume 
分 别 指定 调度 程序 。 

OpenStack 默认 支持 多 种 过 滤 策 略 ， 如 CoreFilter (CPU 数 过 滤 策 略 )、RamFilter 
( Ram 值 选 择 策略 ) 、AvailabilityZoneFilter (指定 集群 内 主机 策略 ) 、JsonFiliter (Json 串 
指定 规则 策略 ) ， 开 发 者 也 可 以 实现 自己 的 过 滤 策 略 ， 一 些 常用 的 过 滤 策 略 见 表 4-2。 

表 4-2 常用 的 过 滤 策 略 
















































































名 称 描述 
AllHostsFilter 不 做 任何 过 滤 , 直 接 返 回 所 有 可 用 的 主机 列表 
AvailabilityZoneFilter 返回 创建 虚拟 机 参数 指定 的 集群 内 的 主机 
ComputeFilter 根据 创建 虚拟 机 规格 属性 选择 主机 
CoreFilter 根据 CPU 数 过 滤 主 机 
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( 续 ) 
名 称 描 述 
IsolatedHostsFilter 根据 “image_isolated” 和 “host_isolated” 标 志 选 择 主机 
JsonFilter 根据 简单 的 Json 字符 串 指 定 的 规则 选择 主机 
RamFilter 根据 指定 的 RAM 值 选择 资源 足够 的 主机 
SimpleCIDRAffinityFilter 选择 在 同一 卫 段 内 的 主机 
DifferentHostFilter 选择 与 一 组 虚拟 机 不 同位 置 的 主机 
SameHostFilter 选择 与 一 组 虚拟 机 相同 位 置 的 主机 























Hosts chosen after filtering 

and sorted after weighting 
(here the best variant is 
Host 5,the worst-Host 6) 





图 4-3 ”Nova-scheduler 过 滤器 
注 : Host， 主机 ;Filters: 过 滤器 ;Weighting: 计算 权 值 ， Hosts chosen after filtering and sorted after weighting 
(here the best variant is Host 5，the worst- Host 6) : 通过 计算 权 值 、 分 类 和 过 滤 ， 获 取 主 机 (最 好 的 选择 是 主机 
5 ， 最 差 的 是 主机 6) 。 














经 过 主机 过 滤 后 ， 需 要 对 主机 进行 权 值 的 计算 ， 根 据 策 略 选择 相应 的 某 一 台 主 机 
(对 于 每 一 个 要 创建 的 虚拟 机 而 言 )。OpenStack 对 权 值 的 计算 需要 一 个 或 多 个 〈 权 值 ， 
代价 函数 ) 的 组 合 ， 然 后 对 每 一 个 经 过 过 滤 的 主机 调用 代价 函数 进行 计算 ， 将 得 到 的 
值 与 权 值 乘积 ， 得 到 最 终 的 权 值 。Openstack 将 在 权 值 最 小 的 主机 上 创建 一 台 虚 拟 机 。 
OpenStack 虚拟 机 分 配 示意 图 如 图 4-4 所 示 。 

4.2.1.3 存储 组 件 

OpenStack 包含 三 个 与 存储 有 关 的 组 件 : 

1. 镜像 存储 ( Glance) 

Glance 提供 虚拟 机 镜像 (Image) 存储 和 管理 。OpenStack 镜像 服务 支持 多 种 虚拟 
机 镜像 格式 ， 包括 VMware (VMDK) 、Amazon 镜像 (AKI、ARI、AMI) 以 及 Virtual- 
Box 所 文 持 的 各 种 磁盘 格式 。 
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from the pool relative to the request specifications sums of costs list of hosts 
of hosts 





图 4-4 ”OpenStack 虚拟 机 分 配 示意 图 
注 : Host: 主机 ; Cost: 消耗 ， Weight， 权 值 ，Hosts from the pool of hosts: 从 计算 资源 池 中 获取 主机 列 
表 ; Costs of the hosts capabilities relative to the request specifications: 主机 性 能 消耗 需求 说 明 ; Weights-sums 
of costs: 权重 - 消耗 总 值 ，Sorted list of hosts: 主机 排序 列表 。 


Glance 提供 虚拟 机 镜像 的 发 现 、 注 册 、 取 得 服务 。Glance 提供 REST API 查询 虚拟 
机 镜像 的 元 数据 ， 并 且 可 以 获得 镜像 。 虚 拟 机 镜像 可 以 被 存储 到 多 种 存储 上 。Glance 的 


架构 如 图 4-5 所 示 。 


Glance 
































Store Adapter 


图 4-5 ”Glance 架构 








注 : Nova-computer: 计算 服务 ，Glance: 镜像 服务 ，Glance API: 镜像 服务 应 用 程序 编程 接口 ; Registry 
Server: 注册 服务 ，Glance DB: 镜 像 服务 数据 库 ; Store Adapter: 存储 适配器 。 
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Cinder 为 虚拟 机 提供 了 持久 块 存储 服务 。 它 的 核心 是 对 卷 进行 管理 ， 人 允许 对 卷 、 卷 
的 类 型 、 卷 的 快照 进行 处 理 。 它 适用 于 可 扩展 的 文件 系统 、 与 企业 存储 服务 的 集成 以 及 
需要 访问 原生 块 级 存储 的 应 用 程序 。Cinder 没有 实现 对 块 设备 的 管理 和 实际 服务 ， 而 是 
提供 了 一 个 抽象 层 ， 为 后 端 不 同 的 存储 结构 提供 了 统一 的 接口 ， 不 同 的 块 设备 服务 厂商 
整合 。Cinder 架构 如 图 4-6 所 示 。 











在 Cinder 中 实现 其 驱动 支持 用 来 与 OpenStack 进行 
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Cinder API 一 一 
i 
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| | 
(Cinder-scheduler) (Cinder-volume) 


iSCSINFS 











NAS、SAN 、 分 布 式 文件 系 
统 、Swift 等 
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Volume Managment 





Replication 





Partition 
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图 4-6 ”Cinder 架 
注 : Cinder: 块 存 储 管理 组 件 ; Cinder API: 块 存储 管理 组 件 应 














= 
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构 


Keystore 


(Keystore) 





用 程序 编程 接口 ;Cinder DB: 块 存储 管理 组 件 





数据 库 ; MQ: 消息 中 间 件 ;Cinder-scheduler: 调度 管理 ;Cinder-volume: 卷 管理 ，iSCSI，Internet 小 型 计算 机 系统 











接口 ， 是 一 种 基于 TCPZDP 的 协议 ， 用 来 建立 和 管理 人 P 存储 设备 、 














主机 和 客 








户 机 等 之 间 的 相互 连接 ， 并 创建 存储 区 


域 网 络 (SAN) ; NFS: 网 络 文件 系统 ， NAS: 网 络 存储 器 ; SAN: 存储 区 域 网 络 ; Swift: 对象 存 储 服 务 组 件 ，Rep- 
lication: 复制 ;， Volume Management: 卷 管 理 ，Filesystem : 文件 系统 ;Partition: 分 区 ; Physical Volume: 物理 卷 。 


Cinder 服务 由 以 下 几 部 分 组 成 : 








1) API Service: 负责 接受 和 处 理 Rest 请 求 ， 并 将 请 求 放 入 MQ 队列 。 
2) Scheduler Service: 处 理 任务 队列 的 任务 ， 并 根据 预定 策略 选择 合适 的 Volume 


Service 节点 来 执行 任务 。 





3) Volume Service: 该 服务 运行 在 存储 节点 上 ， 管 理 存 储 空间 。 每 个 存储 节点 都 有 
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一 个 Volume Service ， 若 干 个 这 样 的 存储 节点 联合 起 来 可 以 构成 一 个 存储 资源 池 。 

对 于 本 地 存储 ，Cinder- volume 可 以 使 用 LVM 驱动 ， 该 驱动 当前 的 实现 需要 在 主机 
上 事先 用 LVM 命令 创建 一 个 Cinder- volumes 的 卷 组 ， 当 该 主机 接收 到 创建 卷 请 求 时 ， 
Cinder- volume 在 该 卷 组 上 创建 一 个 逻辑 卷 ， 并 且 用 open 一 iSCSI 将 这 个 卷 当 作 一 个 iSC- 
SI 目标 给 输出 。 当 然 还 可 以 将 硅 干 主机 的 本 地 存储 用 sheepdog 虚拟 成 一 个 共享 存储 ， 
然后 使 用 sheepdog 驱动 。EMC 、NetApp 、IBM 块 存储 架构 如 图 4-7 ~ 图 4-9 所 示 。 
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注 . Users: 
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图 4-7 EMC 块 存储 架构 





Block Volumes 
Raid Protection 











据 库 ; Cinder: 块 存储 管理 组 件 ; 


用 户 ; Nova: 计算 服务 组 件 ; API: 应 用 程序 编程 接口 ; SQL: Structured Query 
Language ， 结 构 化 查询 语言 ，Nova DB: 计算 服务 组 件数 





Cinder 





DB: 块 存储 管理 组 件数 据 库 ; AMQP: Advanced Message Queuing Protocol， 提 供 统 一 消息 服务 的 应 

















用 层 标准 高 级 消 

















卷 ; Volume Manager: 卷 管理 ，EMC driver: EMC 设备 驱动 ;CIM: 
存储 管理 主动 规范 服务 器 ; REST: Representational State Transfer， 表 述 性 状态 传递 ; 一 种 针对 网 络 








应 用 的 设计 和 开发 方式 ， 可 以 降低 开发 的 复杂 性 ， 提 高 系统 的 可 伸 
理 ，KVM Host: KVM 宿主 机 ; Virtual Device: 虚拟 设备 ; KVM Guest: 
EMC 存储 产品 品牌 ，Block: 块 ， Volume: 卷 ; Raid Protection: 磁盘 





3. 对 象 存储 (Swift) 








息 队 列 协议 ; RabbitMQ: 一 款 消 息 队 列 软 件 ，Message Bus: 消息 总 线 ;Volume: 





公共 信息 模型 ，SMI-S Server: 




















缩 性 ; Compute Mgr. : 计算 管 
KVM 客户 机 ，VNXZVMAX 


阵列 保护 。 











Swift 是 一 个 高 可 用 分 布 式 对 象 存 储 服 务 ， 通 过 配置 普通 硬盘 的 标准 服务 器 提供 可 
伸缩 的 元 余 存储 集群 。Swift 并 不 代表 一 个 文件 系统 ， 它 实现 的 是 一 个 更 传统 的 对 象 存 
储 系统 ， 可 用 于 主要 是 静态 数据 (例如 ，VM 有 映像、 备份 和 归档 以 及 较 小 的 文件 ) 的 长 





期 存储 。 
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图 4-8 NetApp 块 存储 架构 

注 : Users: 用 户 ; Nova: 计算 服务 组 件 ; API : 应 用 程序 编程 接口 ; SQL: Structured Query Language， 结 构 
化 查询 语言 ; Nova DB : 计算 服务 组 件数 据 库 ; Cinder: 块 存储 管理 组 件 ; Cinder DB: 块 存储 管理 组 件数 据 库 ; 
AMQP: Advanced Message Queuing Protocol， 提 供 统一 消息 服务 的 应 用 层 标准 高 级 消息 队列 协议 ; RabbitMQ: 一 
款 消 息 队 列 软件 ; Message Bus: 消息 总 线 ; Volume: 卷 ; Volume Manager: 卷 管理 ; NetApp driver: NetApp 设备 
了 驱动; NetApp Oncommand: NetApp 数据 管理 软件 ，REST: Representational State Transfer， 表 述 性 状态 传递 ; 一 
种 针对 网 络 应 用 的 设计 和 开发 方式 ， 可 以 降低 开发 的 复杂 性 ， 提 高 系统 的 可 伸缩 性 ; Compute Mgr. : 计算 管理 ; 
KVM Host: KVM 宿主 机 ; Virtual Device: 虚拟 设备 ; KVM Guest: KVM 客户 机 ; NetApp Filer: NetApp 文件 管理 
器 ;Block: 块 ; Volume: 卷 ; Raid Protection: 磁盘 阵列 保护 。 




















































































































(1) 数据 模型 Swift 采用 层次 数据 模型 ， 共 有 三 层 逻 辑 结 构 . Account 、Container 
和 Object 〈 即 账户 、 容 器 和 对 象 ) ， 每 层 节点 数 均 没有 限制 ， 可 以 任意 扩展 。 这 里 的 账 
户 和 个 人 账户 不 是 一 个 概念 ， 可 理解 为 租户 ， 用 来 做 顶层 的 隔离 机 制 ， 可 以 被 多 个 个 人 
账户 所 共同 使 用 ; 容 锅 代表 封装 一 组 对 象 ， 类 似 文 件 夹 或 目录 ; 叶子 节点 代表 对 象 ， 由 
元 数据 和 内 容 两 部 分 组 成 。Swift 逻辑 结构 如 图 4- 10 所 示 。 

(2) 系统 架构 ”Swift 采用 完全 对 称 、 面 向 资源 的 分 布 式 系 统 架构 设计 ， 所 有 组 件 
都 可 扩展 ， 避 免 因 单 点 失效 而 扩散 并 影响 整个 系统 运转 ; 通信 方式 采用 非 阻塞 式 IO 模 
式 ， 提 高 了 系统 吞吐 和 响应 能 力 。Swift 系统 架构 如 图 4-11 所 示 。 

1) 代理 服务 (Proxy Server) : Swift 通过 代理 服务 (Proxy Server) 向 外 提供 基于 
HTTP 的 REST 服务 接口 ， 会 根据 环 的 信息 来 查找 服务 地 址 并 转发 用 户 请 求 至 相应 的 账 
户 、 容 融 或 者 对 象 ， 进 行 CRUD ( 增 、 删 、 改 、 查 ) 等 操作 。 由 于 采用 无 状态 的 REST 
请 求 协议 ， 可 以 进行 横向 扩展 来 均衡 负载 。 在 访问 Swift 服务 之 前 ， 需 要 先 通过 认证 服 
务 获 取 访 问 令 牌 ， 然 后 在 发 送 的 请 求 中 加 入 头 部 信息 X- Auth-Token。 代 理 服务 需 负 责 
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图 4-9 ”IBM 块 存储 架构 
注 ， Cloud users: 云 用 户 ; Compute and storage resources: 计算 和 存储 资源 ; Resources management/ Request for 
resources: 资源 管理 、 资 源 请 求 ，Nodes: 节点 ; Other openstack nodes and infrastructure: 其 他 openstack 节点 和 基 

















础 设施 ; Openstack cloud environment : Openstack 云 环 境 ; IBM Storage Driver for Openstack (on Cinder nodes) Open- 
stack 的 IBM 存储 驱动 (部署 在 cinder 节点 ); Management over SSL: 通过 SSL (Secure Sockets Layer， 安 全 套 接 
层 ) 管理 ;iSCSIT:，Intemet Small Computer System Interface ，Internet 小 型 计算 机 系统 接口 ; FC: 光纤 通道 协议 ; 
XV ，DS8000: IBM 存储 产品 ; Private network: 私有 网 络 ; Stoage resources: 存储 资源 ; IBM Storage System: IBM 
存储 系统 ; IBM System Storage DS8000: IBM DS8000 存储 系统 ; IBM XR Storage System: IBM XV 存储 系统 ;Vol- 
umes (LUNs) : 卷 (逻辑 盘 ) ; Storage pools: 存储 池 ; inside the IBM storage system: IBM 存储 系统 内 部 。 


ROOT 


人 人 人 人 人 和 人 人 人 人 人 人 人 人 © 
图 4-10 Swift 逻辑 结构 
注 : ROOT: 根 ; Account: 账户 ;Container: 容器 。 
Swift 架构 的 其 余 组 件 间 的 相互 通信 。 代 理 服务 器 也 处 理 大 量 的 失败 请 求 。 例 如 ， 如 果 
对 某 个 对 象 PUT 请 求 ， 某 个 存储 节点 不 可 用 ， 它 将 会 查询 环 中 可 传送 的 服务 絮 并 转发 
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请 求 。 对 象 以 流 的 形式 到 达 (来 自 ) 对 象 服务 器 ， 它 们 直接 从 代理 服务 器 传送 到 (来 
自 ) 用 户 -代理 服务 需 并 不 缓冲 它们 。 

2) 认证 服务 (Authentication Server) : 验证 访问 用 户 的 身份 信息 ， 并 获得 一 个 对 象 
访问 令 牌 (Token) ， 在 一 定 的 时 间 内 会 一 直 有 效 ; 验证 访问 令 牌 的 有 效 性 并 缓存 下 来 
直至 过 期 时 间 。 

3) 缓存 服务 (Cache Server) : 缓存 的 内 容 包括 对 象 服务 令 牌 ， 账 户 和 容器 的 存在 
信息 ， 但 不 会 缓存 对 象 本 身 的 数据 ; 缓存 服务 可 采用 Memcached 集群 ，Swift 会 使 用 一 
致 性 喻 希 算法 来 分 配 缓存 地 址 。 

4) 账户 服务 ( Account Server) : 提供 账户 元 数据 和 统计 信息 ， 并 维护 所 含 容器 列 
表 的 服务 ， 每 个 账户 的 信息 被 存储 在 一 个 SQLite (一 款 轻 型 数据 库 ) 数据 库 中 。 

5) 容器 服务 ( Container Server) : 提供 容器 元 数据 和 统计 信息 (例如 ， 对 象 的 总 
数 、 容 器 的 使 用 情况 等 ) ， 并 维护 所 含 对 象 列表 的 服务 。 容 器 服务 并 不 知道 对 象 存储 在 
哪儿 ， 只 知道 指定 容器 里 存储 了 哪些 对 象 。 这 些 对 象 信息 以 SQLite 数据 库 文件 的 形式 
进行 存储 ， 和 对 象 一 样 在 集群 上 做 类 似 的 备份 。 

6) 对 象 服务 (Object Server) : 提供 对 象 元 数据 和 内 容 服务 ， 可 以 用 来 存储 、 检 索 
和 删除 本 地 设备 上 的 对 象 。 在 文件 系统 中 ， 对 象 以 二 进 制 文 件 的 形式 存储 ， 它 的 元 数据 
存储 在 文件 系统 的 扩展 属性 (xattr) 中 ， 建 议 采 用 默认 支持 扩展 属性 (xatir) 的 XFS 
文件 系统 。 每 个 对 象 使 用 对 象 名 称 的 哈 硕 值 和 操作 的 时 间 戳 组 成 的 路 径 来 存储 。 最 后 一 
次 写 操作 总 可 以 成 功 ， 并 确保 最 新 一 次 的 对 象 版 本 将 会 被 处 理 。 删 除 也 被 视 为 文件 的 一 
个 版 本 〈 一 个 以 “. ts” 结 尾 的 0 字 节 文件 ，ts 表示 墓碑 ) 。 

7) 复制 服务 (Replicator) : 检测 本 地 分 区 副本 和 远程 副本 是 和 否 一 致 ， 具 体 是 通过 
对 比喻 希 文件 和 高 级 水 印 来 完成 ， 发 现 不 一 致 时 会 采用 推送 (Push) 更 新 远程 副本 : 
对 于 对 象 的 复制 ， 更 新 只 是 使 用 rsync 同步 文件 到 对 等 节点 。 账 号 和 容 需 的 复制 通过 
HTTP 或 rsyne 来 推送 整个 数据 库 文 件 上 丢失 的 记录 。 另 外 一 个 任务 是 确保 被 标记 删除 
的 对 象 从 文件 系统 中 移 除 ， 当 有 一 项 (对象 、 容 器 或 者 账号 ) 被 删除 ， 则 一 个 墓碑 文 
件 被 设置 为 该 项 的 最 新 版 本 。 复 制 器 将 会 检测 到 该 墓碑 文件 并 确保 将 它 从 整个 系统 中 
移 除 。 

8) 更 新 服务 (Updater) : 当 对 象 由 于 高 负载 或 者 系统 故障 等 原因 而 无 法 立即 更 新 
时 ， 任 务 将 会 被 序列 化 到 本 地 文件 系统 中 进行 排队 ， 以 便服 务 恢复 后 进行 异步 更 新 ; 例 
如 ， 成 功 创建 对 象 后 容器 服务 器 没有 及 时 更 新 对 象 列表 ， 这 时 容器 的 更 新 操作 就 会 进入 
排队 中 ， 更 新 服务 会 在 系统 恢复 正常 后 扫描 队列 并 进行 相应 的 更 新 处 理 。 

9) 审计 服务 (Auditor) : 在 本 地 服务 器 上 会 反复 地 疏 取 来 检查 对 象 、 容 器 和 账户 
的 完整 性 ， 如 果 发 现 比 特级 的 错误 ， 文 件 将 被 隔离 ， 并 复制 其 他 副本 以 覆盖 本 地 损坏 的 
副本 ; 其 他 类 型 的 错误 (例如 ， 在 任何 一 个 容器 服务 器 中 都 找 不 到 所 需 的 对 象 列表 ) 
会 被 记录 到 日 志 中 。 

10) 账户 清理 服务 ( Account Reaper) : 移 除 被 标记 为 删除 的 账户 ， 删 除 其 所 包含 
的 所 有 容 需 和 对 象 。 删 除 账号 的 过 程 是 相当 直接 的 。 对 于 每 个 账号 中 的 容 需 ， 每 个 对 象 
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先 被 删除 然后 容器 被 删除 。 任 何 失 败 的 删除 请 求 将 不 会 阻止 整个 过 程 ， 但 是 将 会 导致 整 
个 过 程 最 终 失 败 〈 例 如 ， 如 果 对 一 个 对 象 的 删除 过 程 发生 超 时 ， 容 器 将 不 能 被 删除 ， 
因此 账号 也 不 能 被 删除 ) 。 整 个 处 理 过 程 即 使 遭遇 失败 也 要 继续 执行 ， 这 样 它 不 会 因为 
一 个 麻烦 的 问题 而 中 止 恢复 集群 空间 。 账 号 收割 锅 将 会 继续 不 断 地 尝试 删除 账号 直到 它 
最 终 变 为 空 ， 此 时 数据 库 在 db _ replicator 中 回收 处 理 ， 最 终 移 除 这 个 数据 库 文件 。 
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图 4-11 Swift 系统 架构 

注 : Swift API，Swift 应 用 程序 编程 接口 Authentication Server : 认证 服务 器 ; Proxy Server: 代理 服务 器 ; 
Cache Server: 缓存 服务 器 ; Ring: Swift 中 最 重要 的 组 件 ， 用 于 记录 存储 对 象 与 物理 位 置 间 映射 关系 ; Objects: 对 
象 ，Controller: 控制 器 ，Find location for a given name in mappings: 通过 映射 关系 找到 给 定名 称 所 在 的 位 置 ; Ac- 
count: 账户 ; Container: 容器 ; Objects Server: 对 象 服务 ; Account Server: 账户 服务 ; Container Server: 容器 服 
务 ; extended file attributes: 扩展 性 文件 属性 ; Object fle: 对 象 文件 ，Container DB : 容器 数据 库 ; Account DB: 账 
户 数据 库 ; Account reaper: 账户 清理 ;Object Updater: 对 象 更 新 ; Object Replicator， 对 象 复制 ; Object Auditor: 
对 象 审计 ; Container Updater: 容器 更 新 ;Container Replicator: 容器 复制 ; Container Auditor: 容器 审计 ; Account 
Updater: 账户 更 新 ; Account Replicator: 账户 复制 ;Account Auditor: 账户 审计 。 
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4.2.1.4 网 络 服务 

Neutron 是 OpenStack 中 服务 网 络 服务 的 组 件 ， 是 一 个 定义 良好 的 网 络 服务 插件 框 
架 ， 用 来 调用 网 络 L2 ~ 17 层 的 不 同 实 现 ， 且 对 外 提供 北向 应 用 程序 接口 (API) 来 提 
供 虚 拟 网 络 服务 。Neutron 技术 架构 如 图 4-12 所 示 。Neutron 包含 以 下 几 个 组 件 : 

1) Neutron-API: 核心 API 实现 核心 功能 (例如 ，L2 网 络 、IPAM 等 )， 扩展 API 
实现 附加 的 网 络 服务 。 例 如 ，13 路 由 、 负 载 均衡 (Load Balanceing) 、 防 火 墙 (Fire- 
wall) 、 虚 拟 专 用 网 络 (VPN ) 。 

2) Neutron-Server: 后 台 进 程 ， 将 用 户 请 求 从 OpenStack Networking API 中 继 到 配置 
的 插件 。 

3) Neutron 代理 : 

( Neutron-dhcp-agent: 向 所 有 租户 网 络 提供 动态 主机 配置 协议 (DHCP) 服务 。 

@) Neutron-13-agent: 执行 L3/ 网 络 地 址 转换 (NAT) 转发 ， 以 支持 网 络 访问 租户 网 
络 上 的 VM。 

@) 一 个 特定 于 插件 的 可 选 代理 (Neutron- * -agent) 在 每 个 虚拟 机 管理 程序 上 执行 
本 地 虚拟 交换 机 配置 。 








Neutron 
Neutron Core API ”Neutron API Extension 


Neutron 服 务 (Server) 


Plugin API 





Vendor/User Plugin 














到 4-12 ”Neutron 技术 架构 

注 : Heat: 服务 编排 组 件 ，Neutron: 网 络 管理 组 件 ; Neutron Core API : 网 络 管理 组 件 核心 应 用 系统 编 
程 接口 ; Neutron API Extension: 网 络 管理 组 件 扩展 应 用 系统 编程 接口 ; Neutron 服务 (Server) : 网 络 管理 
组 件 服务 ，Plugin API ， 捅 件 接口 ;， VendorxUser Plugin : 供应 商 / 用 户 插件 。 





























最 初 的 OpenStack Compute 网 络 实现 采用 了 一 种 基本 模型 ， 通 过 Linux® VLAN 和 IP 
表 执 行 所 有 隔离 操作 。OpenStack Networking 引入 了 插件 的 概念 ， 插 件 是 OpenStack Net- 
working API 的 一 种 后 端 实现 。 插 件 可 使 用 各 种 不 同 的 技术 来 实现 逻辑 API 请 求 。Neu- 
tron 支持 主流 的 各 种 网 络 产品 : 
GD Open vSwitch Plugin。 
@) Cisco UCS/Nexus Plugin。 
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@) Linux Bridge Plugin。 

由 Modular Layer 2 Plugin。 

(©) Nicira Network Virtualization Platform (NVP) Plugin。 

(©) RyuOpenFlow Controller Plugin 。 

© NEC OpenFlow Plugin。 

Big Switch Controller Plugin。 

(9) Cloudbase Hyper-V Plugin。 

(0 MidoNet Plugin。 

D Brocade Neutron Plugin Brocade Neutron Plugin 。 

@ PLUMgrid Plugin。 

(3 Mellanox Neutron Plugin Mellanox Neutron Plugin。 

(DP Embrane Neutron Plugin 。 

曲 IBM SDN- VE Plugin。 

(0 CPLANE NETWORKS CPLANE NETWORKS 。 

(DD Nuage Networks Plugin。 

(8 OpenContrail Plugin。 

(9 Extreme Networks Plugin 。 

CO Ruijie Networks Plugin 。 

@ Juniper Networks Neutron Plugin。 

4.2.1.5 OpenStack 其 他 组 件 

1. Keystone 

Keystone 为 OpenStack 框架 提供 注册 服务 ， 包 含 身份 验证 、 服 务 规则 和 服务 令 牌 功 
能 。 每 类 服务 需要 先 通过 keystone 注册 其 服务 的 Endpoint (服务 访问 的 URL) ， 任 何 服 
务 之 间 相 互 的 调用 ， 在 通信 前 需要 先 经 过 Keystone 的 身份 验证 获得 目标 服务 Endpoint。 
Keystone 功能 如 图 4-13 所 示 ，Keystone 认证 流程 如 图 4-14 所 示 。 

Keystone 服务 包括 : 

1) Identity 服务 : 验证 了 身份 验证 凭证 ， 并 提供 了 所 有 相关 的 元 数据 。 

2) Token 服务 : 验证 并 管理 用 于 验证 请 求 身份 的 令 牌 。 

3) Catalog 服务 : 提供 可 用 于 端点 发 现 的 服务 注册 表 。 

4) Policy 服务 : 暴露 一 个 基于 规则 的 号 份 验证 引擎 。 

2. Ceilometer 

Ceilometer 负责 收集 OpenStack 内 部 发 生 的 事件 ， 为 计 费 和 监控 以 及 其 他 服务 提供 
数据 支撑 。Ceilometer 处 理 流 程 如 图 4-15 所 示 。Ceilometer 包含 以 下 几 个 重要 组 件 : 

1) Compute Agent : 该 组 件 用 来 收集 计算 节点 上 的 信息 ， 在 每 一 个 计算 节点 上 都 要 
运行 一 个 Compute Agent， 该 Agent 通过 Stevedore ( python 动态 扩展 包 ， 用 于 插件 管理 ) 
管理 一 组 采集 插件 ， 分 别 用 来 获取 虚拟 机 的 CPU、Disk lL0、Network LO、 实 例 等 信 
息 。 值 得 一 提 的 是 ， 这 些 信 息 大 部 分 是 通过 调用 Hypervisor 的 API 来 获取 的 。 目 前 ， 
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Catalog 
back—end 


Identity 
back—end 





4-13 ”Keystone 功能 
注 ; Keystone: 身份 认证 和 授权 组 件 ; OpenStack Service: OpenStack 服务 ;Token back-end: 令 牌 后 端 ; Cata- 
log back-end: 目 录 后 端 ; Policy back-end: 策略 后 端 ; Identity back-end : 身份 后 端 。 





The Keystone ldentity Manager 


RE 1-alice wants to launch an instance BSE , provides Alice with a list of services ES 


Credentials are ri O 
O A Temporary Tokenis orcatedb 
—| Agenoro catalogis sent 
CO 2-Alice requests all the tenants she has 


The Temporary Token is provided along the rt 一 
Alist of tenants is sent 








[Credentials are sent 
with desired tenant 一 | 


Revstone sonds a Hst 了 是 - 一 


available servi oes 









[The tenant nt is provided ae 





Alice determines fhe correct es nm i 


TO 


ER 5-Keystone provides extra info along with the token ET nice vorifics Alice's token Eee 










Alice stenantis authorized to access the service 
| The token matches with the request 
一 Thattoken belongs to the user Alice 










ls the Token correcty， 


— Does itallow that service usage? /2 





[The service validates the request against its own policy| 





ESEE 6-The service executes the request - 一 7-The service reports the status back to Alice JE 


The Sorvice orcates a new Motan co The Instance has been mi OO 


TEST 一 一 (Y) 
4-14 ”Keystone 认证 流程 
注 : The keystone identity manager: 身份 认证 管理 ;Alice wants to launch an instance: 爱丽 丝 想 启动 一 个 实例 ; 
Alice requests all the tenants she has : 爱丽 丝 要 求 所 有 她 的 房客 ; Keystone provides alice with a list of services : 身份 
认证 组 件 提供 爱丽 丝 服务 列表 ; The service verifles alice ’ s token: 该 服务 核查 爱丽 丝 的 令 牌 ; Keystone provides ex- 


tra info along with the token: 身份 认证 组 件 提供 令 牌 额外 信息 ;The service executes the request: 该 服务 执行 请 求 ; 
The service reports the status back to alice: 该 服务 报告 状态 给 爱丽 丝 。 


EN 





























Ceilometer 仅 提 供 了 Libvirt (实现 Linux 虚拟 化 功能 的 API) 的 API。 
2) Central Agent : Central Agent 运行 在 控制 节点 上 ， 它 主要 收集 其 他 服务 ( Image、 
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Alarm Ceilometer OpenStack Components 而 Notifi MW 
Evaluator API Consumers (Nova, Neutron\.Glance,etc) 















Notification 
Queue 
Restful Central Notification 
API Server Agents Handlers 
人 Metering Queue(ceilometer.collector.meterimg) 
Queue 8 : « 8 
Al 有 
ee Dispatchers( Database, File, etc) 









Data Store(MongoDB MySQL, HBase .DB2, etc) 
[| Non— Ceilometer Systems 


图 4-15 ”Ceilometer- 处 理 流程 

注 : Alarm Evaluator: 告警 者 ;Ceilometer API Consumers: 监控 计量 组 件 接 口 消 费 者 ;Openstack Compo- 
nents (Nova、Neutron、Glance，etc) : Openstack 的 各 个 组 件 ; Notifiers: 通知 者 ; Agent: 代理 ;Alarm Queue: 
告警 队列 ; Restful API server : 服务 ; Central Agents: 中 央 代 理 ; Notification Handlers: 通知 处 理 ;Metering 
Queue: 计量 队列 ，ceilometer collector metering: 监听 消息 队列 ; Alarm Notifier: 报警 通知 ;，Dispatchers ( Data- 
base、File，ete) : 调度 员 (数据 库 、 文 件 等 )，Data store ( MongoDB、MySQL、HBase 、DB2，ete) ; 数据 存储 
(MongoDB 、MySQL、HBase、DB2 等 ) ; Non-ceilometer Systems: 非 监控 计量 组 件 系 统 。 

Volume 、Objects 、Network) 的 信息 ， 实 现 逻 辑 和 Compute Agent 类 似 ， 通 过 调用 这 些 服 

务 的 REST API 可 获取 这 些 数据 。 

3) Collector : 是 Ceilometer 最 为 核心 的 组 件 ， 它 的 主要 作用 是 监听 Message Bus， 
将 收 到 的 消息 以 及 相应 的 数据 写 入 到 数据 库 中 ， 它 是 在 核心 架构 中 唯一 一 个 能 够 对 数据 
库 进行 写 操作 的 组 件 。 除 此 之 外 ， 它 的 男 一 个 作用 是 对 收 到 的 其 他 服务 发 来 的 通知 消息 
进行 本 地 化 处 理 ， 然 后 再 重新 发 送 到 消息 总 线 中 去 ， 随 后 再 被 其 收集 。 

4) Storage 是 Ceilometer 的 数据 存储 服务 ， 数 据 存储 现在 支持 MongoDB 、MySQL、 
Postgresql 、Hbase 、DB2 等 。 

5) REST API: 是 Ceilometer 对 外 服务 接口 。 

6) Message Bus: 是 整个 数据 流 的 瓶颈 ， 所 有 的 数据 都 要 经 过 消息 总 线 被 Collector 
收集 而 存储 到 数据 库 中 ， 目 前 消息 总 线 采 用 RabbitMQ 实现 。 

7) Pipeline: 它 虽 然 不 是 其 中 一 个 组 件 ， 但 是 也 是 一 个 重要 的 机 制 ， 是 Agent 和 
Message Bus 以 及 外 界 之 间 的 桥梁 ，Agent 将 收集 来 的 数据 发 送 到 Pipeline 中 。 在 Pipeline 
中 ， 先 经 过 一 组 transformer 的 处 理 ， 然 后 通过 Multi Publisher 发 送出 去 ， 可 以 通过 消息 
总 线 (Message Bus) 发 送 到 Collector， 或 者 是 发 送 到 其 他 地 方 。Pipeline 是 可 配置 的 ， 
Agent poll 数据 的 时 间 间 隔 ， 以 及 Transformers 和 Publishers 都 是 通 Pipeline. yaml 文件 进 
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行 配置 的 。 
4.2.2 ”CloudStack 架构 


CloudStack 是 一 个 开源 的 具有 高 可 用 性 及 扩展 性 的 云 计 算 平台 ， 由 世界 最 大 的 开源 
组 织 Apache 基金 会 管理 ,， 它 提供 了 对 云 计算 资源 的 灵活 部 署 与 管理 能 力 。 目 前 ， 
Cloudstack 支持 管理 大 部 分 主流 的 Hypervisor， 如 KVM 、XenServer、VMware 、Oracle 
VM 、Xen 等 。 使 用 CloudStack 作为 基础 ， 数 据 中 心 操作 者 可 以 快速 方便 地 通过 现 有 基 
础 架构 创建 去 服务。 现在 ,国外 已 经 有 多 个 用 CloudStack 部 署 的 大 规模 云 环境 ， 包 括 英 
特 尔 、 阿 尔 卡 特 - 朗 讯 、Juniper、 韩 国电 信 、 日 本 KDDI、NTT、 塔 塔 通信 、 迪 斯 尼 、 
Zynga 等 。 

4.2.2.1 总 体 架 构 

CloudStack 架构 设计 上 采用 了 典型 的 分 层 结 构 ， 即 客户 端 、 核 心 引擎 和 资源 层 。 它 
面向 各 类 型 的 客户 提供 了 不 同 的 访问 方式 ， 即 Web Console 、Command Shell 和 Web 
Service API。 通 过 它们 用 户 可 以 管理 使 用 在 其 底层 的 计算 资源 、 网 络 资源 和 存储 资源 。 
CloudStack 概念 架构 如 图 4-16 所 示 。 

CloudStack 云 基础 架构 在 内 部 组 织 采 用 层次 结构 和 现实 物理 环境 进行 映射 。 图 4-17 
清楚 展示 了 Cloud 云 基础 架构 的 组 成 。 

1. 资源 域 (Zone) 

CloudStack 可 包含 一 个 或 多 个 可 用 资源 域 (Zone) ，Zone 往往 代表 一 个 数据 中 心 或 
者 机 房 ， 是 CloudStack 系统 中 由 辑 上 最 大 范围 的 组 织 单元 ， 由 一 组 提供 点 (Pod)、 二 
级 存储 (Secondary Storage) 以 及 网 络 架 构 配 置 构成 。 在 一 套 CloudStack 系统 中 可 以 添 
加 多 个 资源 域 ， 资 源 域 之 间 可 以 实现 完全 物理 隔离 ， 而 且 硬 件 资 源 、 网 络 配置 、 虚 拟 机 
也 都 是 独立 的 。 一 个 资源 域 在 建立 时 只 能 选择 一 种 网 络 架 构 基 本 网 络 ( Basic Zone) 或 
高 级 网 络 (Advanced Zone) ， 但 如 果 整 套 系 统 有 多 个 资源 域 ， 每 个 资源 域 可 以 选择 不 同 
的 网 络 架构 。 根 据 这 一 特点 ， 也 就 可 以 实现 CloudStack 对 多 个 物理 机 房 的 统一 管理 。 从 
业务 需求 来 说 ， 也 可 以 在 一 个 机 房 内 划分 出 两 个 独立 的 资源 域 ， 提 供给 需要 完全 隔离 开 
的 两 套 系统 使 用 。 由 于 资源 域 之 间 是 相互 独立 的 ， 如 果 需 要 有 通信 ， 只 可 以 在 网 络 设备 
上 配置 打通 资源 域 的 公共 网 络 。 

如 图 4-18 所 示 ， 一 个 Zone 可 以 包含 一 个 或 多 个 Pod。 每 个 Pod 包括 一 个 或 多 个 集 
群 主机 或 者 一 个 或 多 个 主 存 储 服务 器 。 所 有 Zone 中 的 机 架 所 共享 的 二 级 存储 。 对 每 一 
个 Zone， 管 理 员 必 须 决定 以 下 几 项 . 

1) 在 Zone 中 配置 Pod 的 数量 。 

2) 每 个 Pod 配置 集群 的 数量 。 

3) 每 个 集群 中 放置 主机 的 数量 。 

4) 每 个 集群 中 放置 主 存储 服务 器 (Primary Storage Servers ) 的 数量 和 存储 服务 需 


局 是 7 人 三 月 
的 总 容量 。 
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图 4-16 ”CloudStack 概念 架构 
注 : END USERS: 终端 用 户 ; CloudStack: 一 个 开源 的 具有 高 可 用 性 及 扩展 性 的 云 计算 平台 ; CloudStack 
API: CloudStack 应 用 系统 编程 接口 ; CloudStack Orchestration Engine: CloudStack 业务 流程 引 敬 ;Compute Con- 
troller: 计算 控制 器 ;Network Controller: 网 络 控制 器 ; Storage Controller， 存储 控制 髓 。 
5) 每 个 区 域 中 配置 二 级 存储 (Secondary Storage) 的 数量 。 
2. 提供 点 (Pod) 
提供 点 (Pod) 是 CloudStack 的 资源 域内 第 二 级 的 逻辑 组 织 单元 ， 可 以 理解 为 一 个 
物理 的 机 架 ， 包 含 交 换 机 、 服 务 器 、 存 储 的 整合 。 位 于 同一 个 Pod 内 的 计算 服务 器 、 系 
统 虚拟 机 、 客 户 虚 拟 机 都 在 同一 个 子 网 中 。 一 般 来 说 ，Pod 上 的 服务 器 连接 至 同一 个 或 
一 组 Layer2 交换 机 上 ， 所 以 很 多 实际 部 署 中 基本 也 都 是 以 一 个 物理 机 架 来 进行 规划 的 。 
一 个 资源 域内 可 以 有 多 个 独立 的 提供 点 ， 在 数量 上 没有 限制 。 一 个 提供 点 可 以 由 一 个 或 
多 个 集群 构成 ， 包 含 一 个 或 多 个 主 存储 服务 器 (Primary Storage Servers)。 出 于 对 网 络 灵 
活 扩 展 的 目的 ， 提 供 点 是 不 可 或 缺 的 一 个 层级 。Pod 对 终端 用 户 是 不 可 见 的 。Pod 结构 
如 图 4-19 所 示 。 
3. 集群 (Cluster) 
| 
主 存储 所 组 成 。 同 一 个 集群 的 计算 服务 器 必须 使 用 相同 的 Hypervisor 类 型 ， 便 件 型 号 
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图 4-17 Cloud 云 基础 架构 的 组 成 
注 : Zone: 资源 域 ， Pods: 提供 点 ; View al : 查看 全 部 ; Clusters: 集群 ; 
Hosts: 主机 ; Primary Storage: 主 存储 ; Secondary Storage: 二 级 存储 

















提供 点 (Pod) 


提供 点 (Pod) 5 


集群 
(Cluster) 





图 4-18 资源 域 (Zone) 结构 图 4-19 提供 点 (Pod) 结构 


必须 相同 。 虚 拟 机 可 以 在 集群 内 的 不 同 主机 之 间 实 现 动 态 迁 移 (live migrate) 。 一 个 Pod 
可 以 包含 多 个 集群 ， 也 可 以 包含 使 用 不 同 Hypervisor 程序 的 集群 。 虽 然 CloudStack 并 不 
限制 集群 的 数量 ， 但 由 于 提供 点 所 划分 的 子 网 范围 ， 提 供 点 内 的 集群 和 主机 数量 不 会 是 
完全 无 限制 的 。 而 集群 内 主机 的 数量 ， 虽 然 也 没有 限制 ， 但 实践 表明 ， 一 个 集群 内 的 计 
算 服 务 器 的 数量 建议 不 超过 16 台 。 

集群 内 可 以 添加 多 个 作为 共享 存储 所 使 用 的 主 存储 ( primary storage) ， 主 存储 的 类 


Ls 
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型 没有 限制 ， 只 要 可 以 和 计算 服务 器 正常 通信 即 可 。 在 新 版 本 中 ，CloudStack 可 以 实现 
虚拟 机 的 所 使 用 的 镜像 文件 在 多 个 主 存储 之 间 进 行 迁移 ， 但 肯定 需要 关闭 虚拟 机 电源 进 
行 迁移 。Cluster 结构 如 图 4-20 所 示 。 

4. 宿主 机 ( Host) 

宿主 机 是 CloudStack 系统 中 最 基本 的 硬件 模 集群 (Cluster) 
块 之 一 ， 用 于 提供 虚拟 化 能 力 和 计算 资源 ， 并 运 
行 客户 创建 的 虚拟 机 ， 根 据 系统 压力 可 以 进行 弹 
性 增 减 。 计 算 服务 器 上 需要 安装 Hypervisor 程序 ， 








RA 主 存储 
目前 CloudStack 支持 CitrixXenServer、VMware (Primary 


St 
ESXi、KVM 、Oracle VM 的 Hypervisor 等 。Cloud- orage) 


Stack 环境 中 的 宿主 机 的 特点 如 下 : 
1) 提供 虚拟 机 需要 的 所 有 CPU、 内 存 、 存 














储 和 网 络 资源 。 图 4-20 集群 (Cluster) 结构 
2) 用 高 带宽 的 网 络 互联 互通 ， 并 具备 Inter- 
net 连接 功能 。 


3) 可 以 位 于 不 同 地 理 位 置 的 不 同 数据 中 心 。 

4) 可 以 拥有 不 同 的 规格 (CPU、 内 存 )， 虽然 位 于 一 个 集群 中 的 主机 必须 是 同 
质 的 。 

5) CloudStack 可 以 自动 地 发 现 宿主 机 提供 的 CPU 数量 和 内 存 资源 。 

6) 在 CloudStack 系统 中 运行 一 个 宿主 机 时 ， 必 须 在 宿主 机 上 配置 虚拟 机 管理 软件 ， 
分 配 IP 地 址 给 宿主 机 ， 并 确保 宿主 机 已 经 链接 到 CloudStack 管理 服务 器 。 

5. 主 存储 (Primary Storage ) 

主 存储 一 般 作为 每 个 集群 中 多 台 计 算 服 务 器 共同 使 用 的 共享 存储 存在 ， 一 个 集群 中 
可 以 有 一 个 或 者 多 个 不 同类 型 的 存储 ， 也 可 以 通过 参数 进行 配置 ， 使 用 计算 节点 的 本 地 
磁盘 作为 本 地 存储 使 用 。 主 存储 用 于 存储 所 有 虚拟 机 的 镜像 文件 和 数据 卷 文件 。 集 群 中 
的 所 有 计算 节点 都 可 以 访问 共享 存储 ， 用 以 实现 虚拟 机 的 在 线 迁 移 和 高 可 用 的 功能 。 如 
果 将 本 地 磁盘 作为 主 存储 ， 虚 拟 机 的 磁盘 读 写 具 有 很 好 的 性 能 ， 但 无 法 解决 主机 故障 导 
致 虚 拟 机 无 法 启动 而 出 现 的 单 点 故障 。 

CloudStack 的 主 存储 支持 的 设备 依赖 于 计算 节点 所 使 用 的 Hypervisor 程序 ， 如 Xen- 
Server 和 vSphere 可 以 全 面 的 支持 NFS、iSCSI、FC-SAN 等 传统 存储 设备 。 对 于 KVM， 
支持 NFS 较 容易 ， 但 需要 使 用 SheardMountPoint 功能 来 间接 支持 iSCSI、FC-SAN、 
CLVM， 并 可 以 间接 支持 较 新 的 分 布 式 存储 技术 架构 。 

6. 二 级 存储 (Secondary Storage) 

二 级 存储 是 CloudStack 根据 Iaas 平台 的 特点 ， 专 门 设计 出 来 的 存储 。 每 个 资源 域 
只 需 一 个 二 级 存储 ， 用 于 存放 创建 虚拟 机 用 的 ISO 镜像 文件 、 模 板 文件 ， 以 及 对 虚拟 机 
做 的 快照 文件 。 二 级 存储 可 以 支持 NFS 存储 和 Openstack 的 组 件 Swift 存储 。 

116 

















开源 云 计算 框架 | 第 4 章 | 


4.2.2.2 计算 架构 

CloudStack 使 用 管理 服务 器 管理 云 环境 下 的 主机 和 虚拟 机 ， 管 理 服务 器 是 无 界 的 ， 
可 以 是 物理 服务 器 或 者 是 虚拟 机 。 单 个 管理 服务 器 可 管理 五 千 个 主机 ， 如 果 需 要 更 好 的 
扩展 性 ， 可 采用 多 点 部 署 。 单 个 管理 服务 器 可 管理 多 个 Zone。 如 果 虚 拟 机 使 用 Xen 和 
KVM ， 需 要 安装 CloudStack Agent 来 支持 其 与 管理 服务 需 的 交互 。 而 管理 服务 需 与 Xen 
Server 交互 则 是 依靠 XAPI， 与 vCenter 、ESX 交互 依靠 HTTP。CloudStack 计算 架构 如 图 
4-21 所 示 。 





XAPI 








Agent 
VCenter 8 


XenServer KVM 
Esx1 


图 4-21 CloudStack 计算 架构 
注 : Mgmt Server: 管理 服务 器 ; XAPI : Xen 应 用 编程 接口 ; XenServer: Xen 服务 器 ; vCenter : vm- 
ware 出 品 的 Esxi 管理 中 心 ;， Esxi: X86 裸 机 虚拟 化 技术 软件 ; Agent : 代理 ; KVM : 目前 已 成 为 学 术 界 的 
主流 VMM 之 一 。 











4.2.2.3 网络 架构 

CloudStack 根据 不 同 的 数据 流量 类 型 设计 了 人 公共、 管理、 客户 及 存储 网 络 ， 可 以 简 
称 为 PMGS ( Public 、Management 、Guest 、Storage) 网 络 。 

(1) 公共 网 络 ” 当 虚拟 机 访问 Internet 或 外 部 网 络 时 ， 需 要 通过 公共 网 络 ， 这 说 明 
客户 虚拟 机 必须 被 分 配 某 种 形式 的 外 网 卫 ， 用 户 可 以 在 CloudStack 的 UI 上 获得 一 个 IP 
作为 NAT 映射， 也 可 以 在 客户 与 公共 网 络 之 间 做 负载 均衡 。 所 有 的 Hypervisor 都 需要 共 
享 Public VLAN 以 保证 虚拟 机 对 外 部 网 络 的 访问 。 

(2) 管理 网 络 ”CloudStack 内 部 资源 相互 通信 会 产生 Management 流量 ， 这 些 流 量 
包括 管理 服务 器 节点 与 Hypervisor 集群 之 间 的 通信 ， 与 系统 虚拟 机 之 间 的 通信 或 与 其 他 
组 件 之 间 的 通信 等 ; 集群 规模 较 小 时 管理 流量 只 占用 很 少 的 带宽 。 

(3) 客户 网 络 最终 用 户 运行 CloudStack 创建 的 虚拟 机 实例 时 产生 Guest 流量 ， 虚 
拟 机 实例 之 间 通 过 客户 网 络 相 互通 信 。 

(4) 存储 网 络 ” 主 存储 与 Hypervisor 之 间 互 连 互 通 的 流量 ; 主 存储 与 二 级 存储 之 间 
也 会 产生 存储 流量 ， 例 如 虚拟 机 模板 和 快照 的 搬移 。 

CloudStack 支持 两 种 网 络 架 构 ， 即 基本 网 络 架 构 和 高 级 网 络 架 构 。 基 本 网 络 架 构 类 
似 AWS 的 扁平 网 络 模式 ， 适合 大 规模 扩展 ， 所 有 VM 部 署 于 同一 子 网 中 ， 通 过 安全 组 
进行 账户 间 的 隔离 (VMware 不 支持 ) ， 虚 拟 路 由 (Virtual Router) 提供 DHCP 与 DNS 
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服务 。 高 级 网 络 架构 支持 Isolated 与 Shared 两 种 虚拟 来 宾 网 络 模式 ， 虚 拟 机 可 接 入 多 个 
网 络 ， 通 过 VLAN 进行 账户 间 的 隔离 ， 但 VLAN 数量 受到 限制 (4096 ) ， 虚 拟 网 户 提供 
了 更 多 的 网 络 服务 ， 即 DHCP、DNS、NAT、Firewall、VPN、LoadBalancing 、PortFor- 
warding 等 。 其 中 ， 管 理 网 络 、 客 户 网 络 、 存 储 网 络 三 种 网 络 对 于 基本 网 络 及 高 级 网 络 
通用 ， 而 Public 则 只 是 针对 高 级 网 络 才 存 在 。CloudStack 基本 网 络 与 高 级 网 络 的 功能 对 
比 见 表 4-3。 








表 4-3 CloudStack 基本 网 络 与 高 级 网 络 的 功能 对 比 





















































网 络 功能 基本 网 络 高 级 网 络 
网 络 数量 单一 网 络 元 种 同 络 
物理 物理 和 虚拟 
防火 墙 类 型 
物理 物理 和 虚拟 
E 二 层 和 三 层 
下 是 
隔离 类 型 
物理 物理 和 虚拟 
物理 物理 和 虚拟 
否 物理 和 虚拟 
是 四 
Source NAT 
在 物理 路 由 器 上 :sFlow / netFlow Hypervisor 和 虚拟 路 由 器 
是 四 








4.2.2.4 存储 架构 

CloudStack 定义 了 两 种 存储 : 主 存储 和 二 级 存储 。 主 存储 可 以 使 用 iSCSI 或 NFS 协 
议 ; 另外 ,直接 附加 存储 可 被 用 于 主 存储 。 二 级 存储 通常 使 用 NFS 协议 。CloudStack 不 
支持 临时 存储 ， 所 有 节点 上 的 所 有 卷 都 是 持久 存储 。 

1. 主 存储 

主 存储 的 速度 会 直接 影响 来 宾 虚 拟 机 的 性 能 。 如 果 可 能 ， 为 主 存储 选择 容量 小 、 转 
速 高 的 硬盘 或 SSDs。CloudStack 用 两 种 方式 使 用 主 存储 。 

(1) 静态 ”是 CloudStack 管理 存储 的 传统 方式 。 在 这 个 模式 下 ， 要 给 CloudStack 预 
先 分 配 几 个 存储 (比如 一 个 SAN 上 的 卷 ) ， 然 后 CloudStack 在 上 面 创 建 若干 个 卷 〈 可 以 
是 root 和 /或 者 数据 盘 ) 。 如 果 使 用 这 种 技术 ， 确 保存 储 上 没有 数据 ， 和 否则 给 CloudStack 
添加 存储 会 销毁 已 存在 的 所 有 数据 。 

(2) 动态 ”是 一 个 比较 新 的 CloudStack 管理 存储 的 方式 。 在 这 个 模式 中 ， 给 Cloud- 
Stack 使 用 的 是 一 个 存储 系统 (但 不 是 预 分 配 的 存储 ) 。CloudStack 配合 存储 一 起 工作 ， 
动态 地 在 存储 系统 上 创建 卷 并 且 存储 系统 上 的 每 个 卷 都 映射 到 一 个 CloudStack 卷 ， 这 样 
非常 有 利于 存储 的 QoS， 目 前 数据 磁盘 (磁盘 方案 ) 支持 这 个 特性 。CloudStack 存储 支 
持 见 表 4-4。 
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表 4-4 ”CloudStack 存储 支持 













































































wt VMware vSphere CitrixXenServer KVM Hyper-V 
je VMDK VHD QCOW2 不 支持 VHD 快照 
支持 iSCSI VMEFS 集群 化 的 LVM 支持 ,通过 共享 挂 载 点 否 
支持 FC VMFS 支持 ,通过 已 有 的 SR 支持 ,通过 共享 挂 载 点 各 
支持 NFS 是 是 是 否 
支持 本 地 存储 是 是 是 是 
存储 超 配 NFS 和 iSCSI NFS NFS 否 
SMB/CIFS 否 否 否 是 
2. 二 级 存储 


二 级 存储 是 和 Zone 关联 的 ， 存 储 的 内 容 如 下 : 

1) 模板 : 可 以 用 来 启动 虚拟 机 和 包括 附加 配置 信息 (例如, 已 经 安装 的 应 用 程 
的 操作 系统 镜像 。 

2) ISO 镜像 : 包含 数据 或 可 引导 操作 系统 媒介 的 磁盘 镜像 。 

3) 磁盘 卷 快 照 : 可 用 来 进行 数据 恢复 或 创建 新 模板 的 虚拟 机 数据 的 副本 。 

基于 区 域 的 NFS 二 级 存储 中 的 元 素 可 以 被 区 域 中 的 所 有 主机 使 用 。CloudStack 管理 
将 客户 虚拟 机 磁盘 分 配 到 特定 的 主 存储 设备 上 存储 (所 有 虚拟 机 磁盘 都 存在 主 存储 
上 )。 除 了 基于 区 域 的 NFS 二 级 存储 之 外 ， 还 可 以 添加 OpenStack 项 目 存储 Swift， 以 使 
二 级 存储 中 的 元 素 对 云 中 的 所 有 主机 都 可 用 。 当 使 用 Swift 时 ， 要 对 整个 CloudStack 配 
置 Swift 存储 ， 然 后 像 往常 一 样 配置 ， 为 每 个 Zone 配置 NFS 二 级 存储 。 当 所 有 的 模板 和 
其 他 二 级 存储 转发 到 Swift 之 前 ， 每 个 Zone 中 的 NFS 存储 作为 一 个 缓存 区 。 这 个 Swift 
存储 像 一 个 位 于 云端 的 存储 ， 使 在 云 中 的 其 他 Zone 可 以 使 用 模板 或 者 其 他 数据 。 在 
Swift 存储 中 没有 层次 结构 ， 一 个 Swift 容器 包含 一 个 存储 对 象 。 整 个 云 中 的 任何 二 级 存 
储 在 需要 时 可 以 从 Swift 拉 一 个 容器 ， 不 用 再 将 模板 和 快照 从 一 个 Zone 复制 到 另 一 个 
Zone， 但 是 当 只 使 用 Zone NFS 时 复制 是 必需 的 。 


序 


Sa 





4.3 PaaS 开源 软件 


4.3.1 Cloud Foundry 架构 


Cloud Foundry 是 由 相对 独立 的 多 个 模块 构成 的 分 布 式 系统 ， 每 个 模块 单独 存在 和 
运行 ， 各 模块 之 间 通 过 消息 机 制 进行 通信 。Cloud Foundry 各 模块 本 身 是 基于 Ruby 语言 
开发 的 ， 每 个 部 分 可 以 认为 拿 来 即 可 运行 ,不 存在 编译 等 过 程 。Cloud Foundry 云 平台 
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整体 逻辑 分 层 架 构 如 图 4-22 所 示 。 


OAuth2 Server (UAA) Authentication 
Cloud Controller Health Manager AppLifecycle 


Application Execution (DEA) i 
ppotorage 


& Execution 





Warden 





Message Bus(NATS) Messaging 
Metrics Collector App Log Aggregator A 





图 4-22 ”Cloud Foundry 云 平台 整体 逻辑 分 层 架 构 
注 : Router : 路 由 ; Routing: 按 某 线路 发 送 ; OAuth2 Server (UAA) : 授权 资源 服务 器 ;Login Server: 
登录 服务 器 ; Authentication: 身份 验证 ; Application Execution (DEA) : 应 用 程序 执行 ，Blob Store: Blob 
存储 ; App Storage & Execution : 应 用 存储 与 执行 ，Service Brokers: 服务 代理 ，Services: 服务 ;Message 
Bus (NATS) : 消息 总 线 ;Messaging: 消息 传递 ，Metrics Collector: 度量 收集 器 ; App Log Aggregator， 应 
用 程序 日 志 聚 合 ;，Metrics & Logging: 度量 和 数据 记录 。 

Cloud Foundry 云 平台 主要 由 路 由 器 (Router) 、 认 证 服务 (UAA) 、 登 录 服 务 (Log- 
in Server) 、 云 控制 需 ( Cloud Controller) 、 健 康 管理 ( Health Manager) 、Droplet 执行 代 
理 (DEA)、Blob 存储 (Blob Store)、 消 息 总 线 (NATS ) 、 云 控制 器 数据 中 心 (Cloud 
Controller Database) 以 及 Service 等 模块 组 成 。 这 些 模块 协同 合作 ， 通 过 特定 的 消息 传 
输 机 制 和 API 接口 进行 通信 ， 就 可 以 使 整个 云 平 台 正 常 运行 。 由 于 在 集群 环境 下 每 个 模 
块 都 有 多 个 部 署 节点 ， 从 而 保证 了 云 平 台 的 可 靠 性 和 弹性 动态 扩展 的 需求 ， 使 得 应 用 程 
序 可 以 稳定 可 靠 地 运行 在 Cloud Foundry 云 平台 上 。 

( 1) 路 由 器 (Router) ”路 由 器 组 件 负责 对 Cloud Foundry 所 有 进来 的 请 求 进行 路 
由 ， 进 入 Cloud Foundry 系统 的 请 求 都 会 经 过 路 由 絮 组 件 。 路 由 器 组 件 支持 扩展 ， 可 由 
多 个 路 由 器 共同 处 理 进来 的 请 求 。 管 理 员 可 用 DNS 实现 负载 均衡 ， 也 可 以 部 署 专用 硬 
件 来 实现 ， 或 者 使 用 Nginx 进行 负载 均衡 。 

(2) 云 控制 器 (Cloud Controller) Cloud Foundry 的 云 控制 器 。 负 责 与 VMC 命令 行 
工具 和 STS 插件 交互 的 服务 器 端 ， 它 收 到 指令 后 发 消息 到 各 模块 ， 管 理 整个 云 的 运行 ， 
相当 于 Cloud Foundry 的 管理 需 ， 它 的 主要 工作 包括 : 

1) 对 应 用 程序 的 管理 ， 即 增加 、 修 改 或 者 删除 。 

2) 应 用 程序 的 启动 、 停 止 。 

3) 把 应 用 程序 打包 成 一 个 Droplet。 

4) 修改 应 用 程序 运行 环境 ， 包 括 实 例 、 内 存 等 。 
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5) 管理 服务 ， 包 括 服务 与 应 用 的 绑 定 等 。 

6) 管理 Cloud Foundry 环境 。 

7) 管理 Cloud Foundry 的 用 户 信息 。 

8) 查看 Cloud Foundry， 以 及 每 一 个 应 用 程序 的 log 信息 。 

(3) 认证 服务 (UAA) ”Cloud Foundry 的 权限 管理 模块 。 认 证 服务 负责 实现 用 户 认 
证 ， 它 可 以 与 企业 已 有 的 认证 系统 进行 整合 ， 例 如 LDAP、CAS 等 。 

(4) Droplet 执行 代理 (DEA) ” 它 是 Droplet Execution Agent 的 缩写 ， 是 Cloud 
Foundry 的 应 用 运行 代理 模块 。 一 台 虚 拟 机 上 会 运行 一 个 或 多 个 DEA。 一 个 DEA 可 以 局 
动 多 个 App (又 称 为 Droplet) 。 在 Cloud Foundry 的 概念 里 面 ，Droplet 是 指 应 用 源 代码 、 
Cloud Foundry 配套 好 的 运行 环境 ， 以 及 一 些 管理 脚本 全 部 压缩 好 在 一 起 的 Tar 包 。 而 制 
作 这 个 Tar 包 并 把 它 存储 起 来 的 过 程 叫做 Staging App，Cloud Foundry 会 自动 保存 Drop- 
let。 当 用 户 启 动 一 个 App 时 ， 一 台 部 署 了 DEA 模块 的 服务 器 会 来 拿 一 个 Droplet 的 拷贝 
去 运行 。 所 以 如 果 用 户 将 App 扩展 到 10 个 实例 时 ， 那么 这 个 Droplet 就 会 被 复制 10 份 ， 
并 在 10 个 DEA 服务 器 上 运行 。 

(5) 健康 管理 (Health Manager) ”人 负责 从 各 个 DEA 获得 运行 信息 ， 然 后 进行 统计 
分 析 、 报 告 、 发 出 告警 等 。 统 计数 据 会 与 Cloud Controller 的 设 定 指标 进行 比 对 ， 并 提供 
Alert 等 。 在 云 计算 里 面 ， 自 动 化 Health 管理 、 分 析 是 一 个 很 重要 的 领域 ， 而 这 方面 可 
以 扩展 的 地 方 也 很 多 ， 结 合 业 务 流程 引擎 可 以 使 云 自 管理 、 自 预警 ， 而 与 BI 方面 的 技 
术 相 结合 ， 可 以 统计 运营 情况 、 合 理 分 配 资 源 等 。 

(6) 服务 (Services) ”服务 应 属于 PaaS 的 第 三 层 。Cloud Foundry 将 服务 模块 设计 
成 一 个 独立 的 、 插 件 式 的 模块 ,便于 第 三 方 服务 提供 商 方 便 地 将 自己 的 服务 整合 成 
Cloud Foundry 服务 。 从 架构 上 来 说 ，Cloud Foundry 服务 部 分 使 用 了 模板 方法 设计 模式 ， 
可 通过 重 构 子 方法 来 实现 自己 的 服务 。 如 果 不 需 要 特别 逻辑 则 可 以 使 用 默认 方法 。 现 实 
情况 是 ， 由 于 种 种 原因 使 有 些 系统 服务 难以 或 不 愿意 迁移 到 云端 ， 为 此 Cloud Foundry 
引入 了 Service Broker 模块 。Service Broker 可 以 使 部 署 在 Cloud Foundry 上 的 应 用 能 访问 
本 地 服务 。 

(7) 消息 总 线 (NATS) ”Cloud Foundry 的 架构 是 基于 消息 发 布 和 订阅 机 制 。NATS 
的 组 件 负责 各 模块 之 间 的 交互 。NATS 是 由 Cloud Foundry 开发 的 一 个 基于 事件 驱动 的 、 

到 量 级 的 消息 系统 ， 它 基于 EventMachine 实现 。Cloud Foundry 各 种 优秀 特性 均 源 于 消 
息 通信 和 架构。 每 台 服 务 器 上 的 各 模块 会 根据 当前 的 行为 ， 向 对 应 主题 发 布 消息 ， 同 时 也 
按照 需要 监听 多 个 主题 ,彼此 以 消息 进行 通信 。 

Cloud Foundry 能 够 部 署 在 私有 云 或 公有 云 环境 中 。 它 可 以 运行 在 多 种 Iaas 之 上 ， 
与 IaaS 的 耦合 性 很 低 。 目 前 ，Cloud Foundry 支持 的 应 用 方式 主要 有 以 下 三 类 : 

(1) 公有 云 服务 平台 ”公有 云 服 务 平台 是 指 目 前 VMware 公司 运营 的 一 个 免费 公有 
云 平台 及 其 合作 伙伴 的 Paas 云 平台 。 当 前 VMware 公司 运 维 着 一 个 公有 PaaS 云 平台 ， 
该 平台 为 开发 者 提供 了 一 个 简单 的 途径 来 试用 Cloud Foundry 云 平 台 ， 并 为 新 的 服务 和 
软件 的 运 维 优化 提供 一 个 测试 平台 。 
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(2) 私有 云 服务 平台 ”私有 云 服 务 平台 是 指 在 企业 内 部 构建 的 云 服 务 平台 。VM- 
ware 提供 商业 版 本 的 Cloud Foundry 给 要 部 署 Paas 云 平 台 的 企业 ， 帮 助 它们 在 自己 的 云 
中 构建 企业 PaaS 云 平台 。 企 业 Paas 云 平 台 在 技术 本 质 上 是 构建 统一 的 企业 IT 基础 架 
构 ， 也 就 是 将 企业 IT 资源 整合 为 服务 ， 以 供 企业 各 部 门 和 其 他 企业 共享 使 用 ， 从 而 提 
高 企业 开 资源 的 使 用 率 。 

(3) 本 地 微 云 平台 ”本 地 微 云 平台 Micro Cloud Foundry 是 指 可 以 压缩 云 到 开发 者 的 
笔记 本 上 单个 虚拟 机 里 运行 的 测试 Cloud Foundry 云 平 台 环 境 。 通 过 微 云 平台 ，Cloud 
Foundry 提供 了 运行 在 单个 虚拟 机 里 的 版 本 ， 可 以 帮助 开发 者 在 自己 的 机 器 上 建立 和 测 
试 他 们 的 应 用 ， 确 保 开 发 环境 和 生产 环境 具有 一 致 性 。 

Cloud Foundry 同时 文 持 多 种 开发 框架 、 编 程 语言 、 应 用 服务 以 及 多 种 云 部 署 环 境 。 

1) 开发 框架 的 支持 。Cloud Foundry 支持 各 种 框架 的 灵活 选择 ,这些 框架 包括 
Spring for Java、. NET、 Ruby on Rails 、Node. js、Grails、Scala on Lift 等 。 

2) 应 用 服务 的 支持 。Cloud Foundry 云 平台 将 应 用 和 应 用 依赖 的 服务 彼此 分 开 ， 通 
过 在 部 署 时 将 应 用 和 应 用 依赖 的 服务 相 绑 定 的 机 制 使 应 用 和 应 用 服务 相对 对 立 ， 增 加 了 
在 PaaS 平台 上 部 署 应 用 的 灵活 性 。 这 些 应 用 服务 包括 PostgreSQL、MySQL、SQL Server、 
MongoDB 、Redis 以 及 更 多 来 自 第 三 方 和 开源 社区 的 应 用 服务 。 

3) IaaS 的 支持 。Cloud Foundry 支持 多 种 云 基 础 设施 ， 用 户 需 要 在 不 同 的 云 服 务 器 之 
间 切 换 ， 而 不 用 担心 被 厂商 锁定 的 问题 。Cloud Foundry 可 以 灵活 地 部 署 在 公有 云 、 私 有 
云 或 者 混合 云 之 上 ， 如 vSphere/vCloud 、AWS 、OpenStack 、Rackspace 等 多 种 云 环 境 中 。 














4.3.2 ”OpenShift 架构 


OpenShift 是 红 帽 公司 推出 的 一 个 云 计算 服务 平台 。 用 户 可 以 创建 、 部 署 、 管 理 云 
端 应 用 ， 其 云 环境 具体 提供 了 磁盘 空间 、CPU 计算 资源 、 内 存 资源 、 网 络 连 接 以 及 应 
用 服务 器 。 根 据 不 同 应 用 类 型 (数据 库 、 编 程 语言 等 ) ，OpenShift 会 提供 不 同 的 文件 系 
统 布局 (例如 ，PHP、Python、Ruby、Java) 来 创建 不 同 的 运行 环境 。 此 外 ，OpenShift 
也 提供 了 一 定 程度 的 DNS 〈 域 别名 ) 。 

4.3.2.1 基本 功能 单元 

Openshift 中 包括 了 两 个 基本 功能 单元 ， 如 图 4-23 所 示 。 

1. Broker (提供 接口 ) 

Broker 是 所 有 应 用 管理 活动 的 入 口 。 它 主要 负责 管理 用 户 登录 、DNS、 应 用 状态 以 
及 应 用 服务 编排 (服务 分 发 ) 。 用 户 和 Broker 交互 主要 是 通过 Web 管理 控制 台 、CLI 
( Command line interface ， 命 令 行 界面 ) 工具 、JBoss 工具 或 者 REST API。 

2. Cartridges (提供 应 用 框架 ) 

Cartridges 为 应 用 程序 运行 提供 环境 的 插件 ， 每 个 Cartridge 只 能 提供 一 种 运行 环境 ， 
比如 Python 或 者 Mysql， 不 能 同时 提供 多 种 。Cartridge 分 为 两 种 : Framework Cartridge 和 
Embedded Cartridge， 前 者 提供 Web 能 力 的 服务 ,后 者 提供 数据 库 、 数 据 库 Web 接口 的 
122 






































开源 云 计算 框架 | 第 4 章 | 


加 





User Interaction Broker Cartridges 


图 4-23 ”OpenShift 基本 功能 单元 
注 : User Interaction: 用 户 交 互 界面 ;Broker: 是 所 有 应 用 管理 活动 的 入 口 。 它 主要 负责 管理 用 户 登 
录 、DNS、 应 用 状态 以 及 应 用 服务 编排 ，Cartridges: 为 应 用 程序 运行 提供 环境 的 插件 ， 每 个 Cartridge 只 
能 提供 一 种 运行 环境 。 
服务 。 一 个 应 用 程序 显然 需要 至 少 一 个 Framework Cartridge。Cartridges 提供 了 多 种 编程 
语言 文 持 (PHP、Python 、jJava 等 ) ， 还 提供 了 不 同 数据 库 文 持 ( PostgreSQL、MySQL、 
MongoDB ) 。 
4.3.2.2 系统 资源 与 应 用 容器 
OpenShift 内 部 是 通过 Gears 、Nodes 以 及 Districts 来 管理 系统 资源 与 应 用 容 需 的 ， 其 
组 织 结构 如 图 4-24 所 示 。 



















































































a Gearn 
Gear 1 Gear 2 


App Code MySQL 


ET 





Application 


图 4-24 ”OpenShift 组 织 结构 
注 ，Gear， 拥有 一 系列 软 硬 资源 的 容器 ，App Code， 应 用 程序 代码 ;MySQL: 一 个 关系 型 数据 库 管理 系统 ; 


Other Cartridges: 慢 他 运行 环境 PHP: 脚本 语言 ; PhpMyAdmin : MySQL 的 PHP 编写 的 管理 器 ，; Application : 
应 用 。 























1，Cears 

拥有 一 系列 软 硬 资源 的 容器 ( 沙 箱 / 沙 盒 ) ， 提 供 了 Cartridges 运行 的 容器 ， 一 个 或 
多 个 Cartridges 可 在 其 中 运行 ，Gear 为 每 个 Cartridge 提供 有 限 的 内 存 与 磁盘 空间 。 

2. Nodes 

一 台 物 理 机 或 虚拟 机 ， 其 中 包含 多 个 Gears。 因 为 某 些 Gear 并 不 是 时 时 刻 刻 处 于 运 
行 中 ， 因 此 ， 一 个 Node 通常 会 处 于 超 配额 状态 ， 即 放 入 了 超过 限额 个 数 的 Gears。 

3. Districts 

定义 了 一 些 nodes， 其 中 的 Gears 可 以 方便 地 进行 Node 负载 均衡 。 因 此 ， 即 使 是 某 
个 Gear 负载 很 高 时 也 不 会 发 生 Node 运行 超载 。Districts 负载 均衡 如 图 4-25 所 示 。 

4. 3.2.3 ”OpenShift 应 用 

OpenShift 应 用 管理 有 三 种 管理 途径 ， 即 Web 、Command Line 和 Ide。Wepb 方式 可 以 
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Other Nodes 


Node 1 Node 2 


nGears 
100s of Gears 100s of Gears max 6000 per District 





District 





图 4-25 ”Districts 负载 均衡 
注 . Node: 一 台 物 理 机 或 虚拟 机 ; Gears: 拥有 系列 软 硬 资源 的 容器 ; 100s of Gears: 100 个 
Gears; Max 6000per District : 每 个 分 区 最 大 6000 个 Gears; District : 分 区 。 























在 浏览 器 上 快速 创建 、 运 行 应 用 。Command Line 方式 拥有 完全 的 控制 权 和 代码 管理 。 
Ide 方式 可 以 无 颖 地 整合 进 Eclipse 的 开发 环境 中 ， 如 图 4-26 所 示 。 

OpenShift 应 用 是 由 一 系列 部 分 构成 的 。 

1) Namespace (用 户 空间 ): 每 个 用 户 只 有 ”计时 


个 Namespace philosophy 
个 Namespace o BIO ET NE Nn 


2) App Name (应 用 名 ) : 每 个 App 有 一 个 Application Name: AppOne 
Unique (唯一 ) 的 名 字 。 URL: AppOne_philosophy.rhcloud.com 

3) Aliases (别名 ): 可 以 为 一 个 App 提供 Application Name: AppTwo 
一 个 别名 ， 也 就 是 另外 一 个 URL。 URL: AppTwo_philosophy.rhcloud.com 

4) App Dependencies (应 用 独立 性 ): App 
依赖 于 哪些 Catridges。 

5) App Git Repository (开源 分 布 式 版 本 控 gm, pe 请 an 
制 系统 ): 用 户 把 代码 Push (推送 ) 上 去 的 应 用 程序 名 称 ，URL: 网 址 。 

地 方 。 

1. 伸缩 性 

OpenShift 上 的 应 用 可 以 分 为 两 类 : 可 伸缩 应 用 与 不 可 伸缩 应 

1) 可 伸缩 应 用 : 可 伸缩 应 用 按 需 获 取 系 统 资 源 。 0 
Gears ,一 个 用 于 应 用 本 里 ， 男 一 个 用 于 高 可 用 代理 (HAProxy) 实现 负载 均衡 。 

2) 不 可 伸缩 应 用 : 只 能 使 用 一 个 Gear。 

Web 请 求 到 达 负 和 载 均衡 代理 HAProxy 后 ， 它 将 请 求 转发 给 Gear 中 的 应 用 。 当 HA- 
Proxy 探测 到 请 求 过 载 时 ，OpenShift AR 份 已 经 存在 的 Web Cartridge 到 一 个 单独 的 
Gear 里 ， 与 已 有 Gears 一 起 处 理 请 求 ， 这 相当 于 提升 了 两 倍 请 求 处 理 能 力 。OpenShift 部 

署 架 构 如 图 4-27 所 示 。 

2. 用 户 交互 

通过 OpenShift 创建 应 ne ne 

可 以 通过 git push 命令 进行 部 署 ， 也 可 以 使 用 Jenkins ( Cartridge) 进行 持续 集成 ， 
如 图 4-29 所 示 。 
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图 4-26 ”OpenShift 应 用 管理 








注 ，Username : 用 户 名 名 ; Namespace: 名 学 
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铭 


Web Requests 





图 4-27 ”OpenShift 部 署 架 构 
注 : Web requests : Web 请 求 ;，HA Proxy: 高 可 用 性 代理 ;Gear: 拥有 一 系列 软 硬 资源 的 容器 ; PHP 


脚本 语言 ，MySQL : 一 种 关系 性 数据 库 。 


Streamline 
Authentication 


Dyn DNS service 



































1.User requests new application 2.Authentication 


3.Create a new gear 


Node/Gear 


5.Configure the PHP cartridge 
6.Set up GIT repository 















4.Setup application 
DNS entry 





7.CLI tools git clone 
application repository 





8.User users git to deploy code 








图 4-28 ”OpenShift 交互 式 创建 应 用 过 程 

注 : User requests new application: 用 户 请 求 新 的 应 程序 ; Mongo: 一 种 非 关 系 型 数据 库 ; Mongo Datastore : 
mongo 数据 存储 ; Broker: 是 所 有 应 用 管理 活动 的 入 口 。 它 主要 负责 管理 用 户 登 录 、DNS、 应 用 状态 以 及 应 用 服 
务 编排 ( 服务 分 发 ) ; Authentication: 认证 ; Streamline authentication: 简化 认证 ; DNS: Domain Name System ， 域 
名 系统 ; Setup application DNS entry: 安装 应 用 程序 DNS 条 目 ; Dyn DNS service : 动态 DNS 服务 ; CLI: com- 
mand- line interface ， 命令 行 界面 ; GIT: 一 个 开源 的 分 布 式 版 本 控制 系统 ;CLI tools GIT clone application reposito- 
ry: CLI 工具 的 GIT 克隆 应 用 程序 库 ; Create a new gear: 创建 一 个 新 的 容器 ;， User users GIT to deploy code: 使 用 
用 户 的 GIT 部 署 代 码 ; Configure the PHP cartridge: 配置 PHP 运行 环境 ;， Set up GIT repository : 设置 GIT 仓 库 ; 
PHP cartridge: PHP 运行 环境 。 
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1.User uses git to deploy 2. Application sends 
code to application Ue build request Jenkins 
application VE 











application 


6. Builder clones the repo 

7. Build completes 5.Jenkins lssues 

8. Builder Rsync copies build to slave 
to application 

9. Builder sends artifacts to 


3.Jenkins contacts Broker 
Jenkins server 


to spin up a new builder 


Builder 4.Create a new builder 
application Broker 


图 4-29 OpenShift 自动 化 创建 应 用 过 程 
注 : User uses git to deploy code to application: 用 户 使 用 git 部 署 代码 ;，User application : 用 户 应 用 ; Applica- 
tion sends build request: 应 用 程序 发 送 构建 请 求 ; Jenkins: 一 个 开源 软件 项 目 ， 旨 在 提供 一 个 开放 易 用 的 软件 平 
台 ， 使 软件 的 持续 集成 变 成 可 能 ;，Jenkins server application: Jenkins 服务 器 应 用 程序 ，repo: 管理 多 git 的 工具 
















































































Builder clones the repo: 构建 repo 克隆 ; Build completes: 构建 完成 ; Builder Rsync copies to application: 构建 器 同 
步 应 用 程序 副本 ; Builder sends artifacts to Jenkins server: 构建 器 发 送 构件 给 Jenkins 服务 器 ; Jenkins issues build 
to slave: Jenkins 将 应 用 构建 至 slave; Broker: 是 所 有 应 用 管理 活动 的 人 口 。 它 主要 负责 管理 用 户 登 录 、DNS、 
应 用 状态 以 及 应 用 服务 编排 ( 服务 分 发 ); Jenkins contacts Broker to spin up a new bulder: Jenkins 联系 Broker 来 
启用 新 构建 器 ;Builder application: 构建 应 用 程序 : ;， Create a new builder: 创建 一 个 新 构建 器 。 



















































































4.4 大 数据 技术 


随 着 “ 按 需 服务 ”理念 云 计算 的 高 速 发 展 ，“ 数 据 即 资源 ”的 大 数据 时 代 已 经 来 
临 。 大 数据 利用 对 数据 人 处理 的 实时 性 、 有 效 性 提出 了 更 高 的 要 求 ， 需 要 根据 大 数据 的 特 
点 对 传统 的 数据 处 理 技术 进行 变革 ， 以 形成 适用 于 大 数据 收集 、 存 储 、 管 理 、 分 析 、 共 
享 和 可 视 化 的 技术 。 

大 数据 技术 从 大 的 方面 可 以 分 为 两 类 ， 以 Hadoop 为 代表 的 批 处 理 ， 以 及 以 Storm、 
Spark 为 代表 的 实时 人 处理 。 


4.4.1 Hadoop 


Hadoop 是 一 个 分 布 式 系统 基础 架构 ， 由 Apache 基金 会 开发 。 用 户 可 以 在 不 了 解 分 
布 式 底层 细节 的 情况 下 ， 开 发 分 布 式 程序 。 充 分 利用 集群 的 威力 高 速 运算 和 存储 。 简 单 
地 说 ，Hadoop 是 一 个 可 以 更 容易 开发 和 运行 处 理 大 规模 数据 的 软件 平台 。 

Hadoop 实现 了 一 个 分 布 式 文件 系统 (Hadoop Distributed File System，HDFS )。 
HDFS 具有 高 容错 性 的 特点 ， 并 且 设计 部 署 在 低廉 的 硬件 上 。 而 且 它 提供 高 传输 率 来 访 
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问 应 用 程序 的 数据 ， 适 合 超大 数据 集 的 应 用 程序 。HDFS 放宽 了 POSIX 的 要 求 ， 这 样 可 
以 以 流 的 形式 访问 文件 系统 中 的 数据 。 下 面 列 举 了 Hadoop 主要 的 一 些 特点 : 

(1) 扩容 能 力 〈(Scalable) ”能 可 靠 地 存储 和 处 理 千 兆 字 节 (PB) 数据 。 

(2) 成 本 低 (Economical)” 可 以 通过 普通 机 絮 组 成 的 服务 絮 群 来 分 发 以 及 处 理 数 
据 ， 这 些 服务 器 群 总 计 可 达 数 千 个 节点 。 

(3) 高 效率 ( Efficient) ”通过 分 发 数据 ，Hadoop 可 以 在 数据 所 在 的 节点 上 并 行 处 
理 它们 ， 这 使 得 处 理 非常 的 快速 。 

(4) 可 靠 性 (Reliable) ”Hadoop 能 自动 地 维护 数据 的 多 份 复制 ， 并 且 在 任务 失败 
后 能 自动 地 重新 部 署 计算 任务 。Hadoop 运行 在 商用 独立 的 服务 群集 上 。 可 以 随时 添加 
或 删除 Hadoop 群集 中 的 服务 器 。Hadoop 系统 会 检测 和 补偿 任何 服务 器 上 出 现 的 硬件 或 
系统 问题 。 换 句 话 说 ，Hadoop 是 一 个 自 愈 系统 。 在 出 现 系统 变化 或 故障 时 ， 它 仍 可 以 
运行 大 规模 的 高 性 能 处 理 任务 ， 并 提供 数据 。 

虽然 Hadoop 提供 了 数据 存储 和 并 行 处 理 平 台 ， 但 其 真正 的 价值 来 自 于 这 项 技术 的 
添加 件 、 交 叉 集 成 和 定制 实现 。 为 此 ，Hadoop 还 提供 了 向 这 一 平台 增加 功能 性 和 新 能 
力 的 子 项 目 ， 具 体内 容 如 下 : 

(1) Hadoop Common 支持 其 他 Hadoop 子 项 目的 通用 工具 。 

(2) Chukwa 管理 大 型 分 布 式 系统 的 数据 采集 系统 。 

(3) HBase 支持 大 型 表格 结构 化 数据 存储 的 可 伸缩 、 分 布 式 数据 库 。 

(4) HDFS ”向 应 用 数据 提供 高 看 吐 量 访问 的 分 布 式 文件 系统 。 

(5) Hive 提供 数据 汇总 和 随机 查询 的 数据 仓库 基础 设施 。 

(6) MapReduce 用 于 对 计算 群集 上 的 大 型 数据 集合 进行 分 布 式 处 理 的 软件 框架 。 

(7) Pig 用 于 并 行 计算 的 高 级 数据 流 语言 和 执行 框架 。 

(8) ZooKeeper 用 于 分 布 式 应 用 的 高 性 能 协调 服务 。 

Hadoop 平台 的 多 数 实现 至 少 包括 其 中 的 一 些 子 项 目 ， 因 为 这 些 子 项 目 常常 在 利用 
“大 数据 ”时 是 所 不 可 或 缺 的 。 例 如 ， 大 多 数 机 构 会 选择 使 用 HDFS 作为 主 分 布 式 文件 
系统 ， 选 择 可 以 保存 几 十 亿 行 数据 的 HBase (分 布 式 开源 数据 库 ) 作为 数据 库 。 而 使 用 
MapReduce 则 更 是 非常 肯定 的 事情 ， 因 为 其 引擎 赋予 了 Hadoop 平台 一 定 的 速度 和 灵 
活性 。 















































4.4.2 MapR 


MapR 是 MapR Technologies Ine 的 一 个 产品 ， 号 称 下 一 代 Hadoop ， 使 Hadoop 变 为 一 
个 速度 更 快 、 可 靠 性 更 高 、 更 易于 管理 、 使 用 更 加 方便 的 分 布 式 计算 服务 和 存储 平台 ， 
同时 性 能 也 不 断 提升 。 它 将 极 大 地 扩大 了 Hadoop 的 使 用 范围 和 方式 。 它 包含 了 开源 社 
区 的 许多 流行 的 工具 和 功能 ， 例 如 Hbase、HIVE。 它 与 Apache Hadoopd 的 API 完全 兼 
容 。 它 能 够 为 客户 节约 近 1/2 的 硬件 资源 消耗 ， 使 更 多 的 组 织 能 够 利用 海量 数据 分 析 的 
力量 提高 范 争 优势 。 
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与 Hadoop 相 比 ，MapR 有 以 下 两 个 优势 . 

1. Direct Access ( 直接 访问 ) NFS 技术 

顾名思义 ， 用 户 可 以 直接 在 远程 通过 NFS 客户 端 把 MapR HDFS 装载 到 其 本 地 ， 像 
操作 本 地 文件 一 样 来 进行 操作 。 同 时 ，Direct Access NFS 支持 文件 的 随机 读 写 ， 大 大 地 
扩展 了 MapRHadoop 的 应 用 范围 。 

2.， Snapshot、Mirror 等 企业 应 用 特性 

Snapshot (快照 ) 、Miror (镜像 ) 等 企业 应 用 特性 是 企业 IT 管理 人 员 必 不 可 少 的 
工具 ， 也 是 处 理 复 杂 需 求 的 得 力 助 手 。 通 过 支持 Volume，MapR Hadoop 方便 地 支持 了 
这 些 功能 ， 使 得 Hadoop 不 再 只 是 开发 人 员 的 专 宠 ， 数 据 科学 家 、IT 管理 人 员 也 能 够 方 
便 地 访问 功能 强大 的 大 数据 分 析 平 台 Hadoop。 

利用 MapReduce， 开 发 人 员 可 以 开发 跨 处 理 器 分 布 式 群 集 或 独立 计算 机 的 、 并 行 处 
理 海 量 非 结构 化 数据 的 程序 。MapReduce 框架 可 以 划分 为 两 个 功能 区 : 其 中 Map 具备 
将 工作 分 配给 分 布 式 群 集中 不 同 节 点 的 功能 ，Reduce 则 负责 核对 工作 ， 将 工作 结果 转 
化 为 单一 值 。 

MapReduce 的 主要 优势 之 一 是 容错 性 。MapReduce 是 通过 监测 群集 中 的 每 个 节点 来 
实现 容错 性 的 。 每 个 节点 定期 向 MapReduce 报告 和 返回 完成 的 工作 与 状态 更 新 。 如 果 
某 个 节点 的 静默 时 间 超 出 了 预期 值 ， 主 节点 就 会 发 出 通知 ， 并 把 工作 重新 分 配给 其 他 


二- 
节点 。 



































4. 4.3 Storm 


Storm 是 一 个 分 布 式 的 、 容 错 的 实时 计算 系统 ， 目 前 已 经 发 展 到 0. 9.3 版 本 ， 并 且 
集成 了 消息 中 间 件 Kaf (Kafka MQ ， 高 否 吐 量 分 布 式 消息 系统 )。kaStorm 可 以 方便 地 在 
一 个 计算 机 集群 中 编写 与 扩展 复杂 的 实时 计算 ，Storm 对 应 于 实时 处 理 ， 就 好 比 Hadoop 
对 应 于 批 处 理 。Storm 保证 每 个 消息 都 会 得 到 处 理 ， 而 且 它 的 速度 很 快 一 一 在 一 个 小 集 
群 中 ， 每 秒 可 以 处 理 数 以 百 万 计 的 消息 。 它 可 以 使 用 任意 编程 语言 来 开发 。Storm 主要 
有 以 下 优点 : 

1) 简单 的 编程 模型 。 类 似 于 MapReduce 降低 了 并 行 批 处 理 复杂 性 ，Storm 降低 了 
进行 实时 处 理 的 复杂 性 。 

2) 服务 化 。 一 个 服务 框架 支持 热 部 署 ， 即 时 上 线 或 下 线 App。 

3) 可 以 使 用 各 种 编程 语言 。 可 以 在 Storm 之 上 使 用 各 种 编程 语言 ， 默 认 支 持 Clo- 
jure 、Java、Ruby 和 Python。 要 增加 对 其 他 语言 的 支持 ， 只 需 实 现 一 个 简单 的 Storm 通 
信 协 议 即 可 。 

4) 容错 性 。Storm 会 管理 工作 进程 和 节点 的 故障 。 

5) 水 平 扩 展 。 计 算是 在 多 个 线程 、 进 程 和 服务 器 之 间 并 行进 行 的 。 

6) 可 靠 的 消息 处 理 。Storm 保证 每 个 消息 至 少 能 够 得 到 一 次 完整 处 理 。 任 务 失败 
时 ， 它 会 负责 从 消息 源 重 试 消息 。 
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7) 快速 。 系 统 的 设计 保证 了 消息 能 够 得 到 快速 的 处 理 ， 使 用 ZeroMQ (异步 消息 
队列 ) 作为 其 底层 消息 队列 。 

8) 本 地 模式 。Storm 有 一 个 “本 地 模式 ”， 可 以 在 处 理 过 程 中 完全 模拟 Storm 集群 ， 
从 而 可 以 快速 进行 开发 和 单元 测试 。 





4.5 其 他 开源 软件 解决 方案 


4. 5.1 Docker (开源 应 用 容 需 引擎 ) 


Docker 是 dotCloud 公司 开源 的 一 个 基于 LXC 技术 之 上 构建 的 Container 容器 引擎 ， 
基于 Google 公司 推出 的 Go (2009 年 发 布 第 二 款 开源 编程 语言 ) 语言 开发 ， 后 来 加 入 了 
Linux 基金 会 。Docker 让 开发 者 可 以 打包 他 们 的 应 用 并 放置 到 一 个 可 移植 的 容器 中 ， 发 
布 到 任何 流行 的 Linux 机 器 上 ， 实 现 一 种 轻 量 级 的 虚拟 化 方案 。Docker 容器 完全 使 用 沙 
箱 机 制 ， 相 互 之 间 不 会 有 任何 接口 ， 几 乎 没有 性 能 开销 ， 不 依赖 于 任何 语言 、 框 架 或 包 
装 系统 ， 可 以 很 容易 地 在 机 顺和 数据 中 心中 运行 。 

Docker 在 2014 年 6 月 召开 DockerConf 2014 技术 大 会 吸引 了 IBM 、Google、RedHat 
等 业界 知名 公司 的 关注 和 技术 支持 ， 无 论 是 从 GitHub 上 的 代码 活跃 度 ， 还 是 Redhat 宣 
布 在 RHEL7 中 正式 支持 Docker， 都 向 业界 传达 了 一 个 信号 ， 这 是 一 项 创新 型 的 技术 解 
决 方案 。 就 连 Google 公司 的 Compute Engine 也 支持 Docker 在 其 之 上 运行 ， 国 内 百度 应 
用 引擎 (Baidu App Engine，BAE) 平台 就 是 以 Docker 作为 其 Paas 云 基础 。 

如 图 4-30 所 示 ，Docker 容 需 的 执行 不 需要 额外 的 虚拟 化 支持 ， 它 是 操作 系统 核心 
层级 的 虚拟 化 ， 因 此 可 以 实现 更 高 的 效能 和 效率 。Docker 容 需 的 启动 可 以 在 秒 级 实现 ， 
这 相 比 传统 的 虚拟 机 方式 要 快 得 多 。 其 次 ，Docker 对 系统 资源 的 使 用 率 很 高 ， 一 台 主 

















App A AppB 
Bins/Libs Bins/Libs 
App A AppB 
Guest OS Guest OS 
Bins/Libs Bins/Libs 






图 4-30 Docker VS VM 

注 ， Docker: 个 开源 的 应 用 容 需 引擎 ，Docker Engine: Docker 引擎 ， Hypervisor: 虚拟 机 管理 程序 ，Bins: 
二 进 制 包 ; Libs: 库 ; App : 应 用 ; Guest 0S: 客机 操作 系统 ; Host 0S: 宿主 机 操作 系统 ;，Server: 物理 服 
务 器 。 
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机 上 可 以 同时 执行 数 干 个 Docker 容器 。 容 器 除了 执行 其 中 应 用 外 ， 基 本 不 消耗 额外 的 
系统 资源 ， 使 得 应 用 的 效能 很 高 ， 同 时 系统 资源 消耗 更 少 。 传 统 虚 拟 机 方式 执行 10 个 
不 同 的 应 用 就 要 启动 10 个 虚拟 机 ， 而 Docker 只 需要 启动 10 个 隔离 的 应 用 即 可 。 

Docker 可 以 简化 部 署 多 种 应 用 实例 工作 ， 比 如 Web 应 用 、 后 台 应 用 、 数 据 库 应 用 、 
大 数据 应 用 等 ， 例 如 ，Hadoop 集群 、 消 息 队 列 等 软件 都 可 以 打包 成 一 个 (镜像 文件 ) 
进行 部 署 。Docker 容器 几乎 可 以 在 任意 的 平台 上 执行 ， 包括 实体 机 器 、 虚 拟 机 、 公 
云 、 私 有 云 、 个 人 计算 机 、 服 务 器 等 。 这 种 兼容 性 可 以 让 用 户 把 一 个 应 用 程序 从 一 个 平 
人 台 直 接 迁 移 到 另外 一 个 平台 。 

Docker 采用 了 客户 端 /服务 端 (Client/Server，C/S) 架构 ， 包 括 客户 端 和 服务 端 。 
Docker Daemons (守护 进程 ) 是 运行 在 宿主 机 上 的 Docker 守护 进程 ， 用 户 通过 Docker 
Client 与 Docker Daemon 交互 。Docker Daemons 作为 服务 端 接收 来 自 客户 的 请 求 ， 并 处 
理 这 些 请 求 (创建 、 运 行 、 分 发 容器 ) 。Docker Client 是 Docker 命令 行 工具 ， 是 用 户 使 
用 Docker 的 主要 方式 ，Docker Client 与 Docker Daemon 交互 并 将 结果 返回 给 用 户 ， 
Docker Client 也 可 以 通过 Socket (程度 的 双向 通信 连接 的 一 端 ) 或 者 RESTful API 访问 
远程 的 Docker Daemon。Docker 的 总 体 架 构 如 图 4-31 所 示 。 











Host 


Docker Daemon 


Docker Client Container 1 
docker pull 

docker run Container 2 
docker ... 


Container 3 


Container ... 





| 


Docker Index 
图 4-31 Docker 的 总 体 架构 
注 : Docker: 一 个 开源 的 应 用 容器 引擎 ; Client: 客户 端 ， Host: 主机 ; Docker daemon: Docker 后 台 进 程 ; 
Container: 容器 ; docker pull: Docker 命令 ， 用 于 拉 取 镜像 ，docker run: Docker 命令 ， 用 于 运行 镜像 ，Docker In- 
dex: 主要 提供 Docker 镜像 索引 以 及 用 户 认证 的 功能 。 
Docker 内 部 主要 由 三 部 分 组 成 。 
1) 镜像 (Docker Images) : 镜像 相当 于 一 个 模板 ， 用 于 创建 Docker 容器 。Image 中 
可 以 包含 Linux 操作 系统 、 应 用 程序 等 ， 用 户 可 以 下 载 已 经 创建 好 的 Docker Image， 也 
可 以 创建 Docker Image 给 其 他 用 户 使 用 。 镜 像 在 容器 中 运行 起 来 后 ， 可 以 继续 在 里 面 安 
装 部 署 应 用 及 服务 ， 就 像 是 在 一 台独 立 的 虚拟 机 中 的 操作 一 样 ， 所 有 的 应 用 安装 及 配置 
变化 都 可 以 保存 或 者 打包 生成 一 个 新 的 定制 化 Inage。 每 个 Image 都 是 由 很 多 层 组 成 的 ， 
Docker 通过 Union File Systems ( Union 文件 系统 ) 将 这 些 层 绑 定 在 一 个 Image 中 。 每 个 
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Image 都 以 一 个 初级 Image 作为 基础 ， 然 后 通过 操作 指令 在 这 些 初 级 Image 上 添加 新 层 ， 
操作 指令 可 以 是 运行 的 命令 、 添 加 文件 或 目录 、 创 建 可 用 操作 环境 等 。 这 些 操作 指令 都 
被 保存 在 “Dockerfile” 文 件 中 。 

2) 仓库 (Docker Registries ) : Docker Registries 是 集中 存放 镜像 的 地 方 ， 分 为 公用 
仓库 和 私 用 仓库 两 种 。 公 用 的 Docker Registry 就 是 Docker Hub ( 源 代码 管理 集成 ) ， 是 
Docker 官方 维护 的 ， 其 中 包含 大 量 的 可 以 直接 使 用 的 镜像 ， 对 于 企业 内 部 使 用 而 言 ， 
出 于 安全 、 规 范 化 的 目的 ， 可 以 在 本 地 建立 一 个 私有 的 仓库 ， 供 内 部 使 用 。 

3) 容器 (Docker Containers) : 容器 使 用 镜像 建立 的 执行 实例 ， 可 以 被 启动 、 开 始 、 
停止 或 者 删除 。 每 个 容 顺 都 是 相互 隔离 的 安全 应 用 平台 ， 可 以 把 容 需 看 作 是 一 个 简易 版 
的 Linux 环境 。 

Docker 底层 的 核心 技术 包括 Linux 上 的 命名 空间 、 控 制 组 〈Control Groups) 、Union 
文件 系统 和 容器 格式 ( Container Format)。 传 统 的 虚拟 机 通过 在 宿主 主机 中 执行 Hyper- 
visor 来 模拟 一 整套 完整 的 硬件 环境 提供 给 虚拟 机 使 用 。 虚 拟 机 系统 看 到 的 环境 是 可 限 
制 的 ， 也 是 彼此 隔离 的 ， 这 种 直接 的 做 法 实现 了 对 资源 最 完整 的 封装 ， 相 对 而 言 Docker 
的 隔离 性 相 比 传统 虚拟 化 方案 还 是 有 些 从 缺 ， 所 有 容 需 公用 一 部 分 运行 库 ， 容 器 随 着 用 
户 进 程 的 停止 而 销毁 ， 容 需 中 的 用 户 数据 也 不 便 收 集 。 但 是 Docker 是 面向 应 用 的 ， 其 
终极 目标 是 构建 PaaS 平台 ; 而 虚拟 机 主要 目的 是 提供 一 个 灵活 的 计算 资源 池 ， 是 面向 
架构 的 ， 其 终极 目标 是 构建 一 个 IaaS 平台 。 因 此 ，Docker 目的 不 是 也 不 能 替代 传统 虚 
拟 化 解决 方案 。 目 前 Docker 在 容器 没有 提供 完善 的 自 管理 、 运 维 管理 功能 ， 需 要 借助 
一 些 第 三 方 实现 如 DockerUI、Dockland 、Shipyard 等 。 























4.5.2 Solum 


Solum 是 一 个 开源 项 目 ， 它 的 设计 理念 是 缓冲 公有 云 和 私有 云 之 间 的 可 移植 性 。 它 
是 专 为 OpenStack (以 Apache 许可 证 授权 的 自由 软件 和 开放 源 代 码 项 目 ) 云 计算 而 设计 
的 ， 其 研发 采用 了 诸多 OpenStack 项 目的 技术 ,包括 Heat (负责 编排 计划 )、Keystone 
(统一 验证 方式 ) 、Nova (计算 组 织 控制 器 ) 以 及 Trove (数据 库 服务 ) 等 。Solum 会 提 
供 一 个 模块 化 的 “语言 包 ” 解 决 方案 ， 以 此 来 支持 多 语言 运行 时 间 环境 。 用 户 可 以 自 
行 选择 语言 环境 来 运行 相关 的 应 用 程序 。Solum 包括 两 个 逻辑 子 系统 ， 即 控制 面板 和 数 
据 面板 ， 其 架构 如 图 4-32 所 示 。 

Solum 通过 OpenStack 插件 Heat 的 业务 流程 工具 ， 跨 开发 者 、 跨 测试 、 跨 生产 环境 
地 简化 应 用 程序 生命 周期 管理 ; 集成 Git 支持 、 持 续集 成 以 及 集成 各 种 开发 环境 ， 如 E- 
clipse 、JInteliJ、Komodo 等 。 














4.5.3 Libcloud 


Libcloud 是 一 个 开源 的 访问 云 计 算 服 务 的 统一 接口 ， 该 项 目 已 经 成 为 Apache 组 织 
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Solum Control Plane OpenStack Data Plane 








Gr Monitoring OpenStack es ee 
iD Native Services RabbitMQ 


(ex: Trove) NewRelic ,etc) 





图 4-32 Solum 架构 
注 : Solum: 一 个 开源 项 目 ， 它 设计 理念 是 缓冲 公有 云 和 私有 云 之 间 的 可 移植 性 ; Solum Control 
Plane : Solum 控制 平面 ，Web UI: Web 用 户 界 面 ; SDK: 软件 开发 工具 包 ; Git deploy: Git 部 署 ; Heat:， 服 
务 编排 组 件 ，Load Balancer: 负载 均衡 ;Autoscale: 自动 定 标 ; OpenStack Data Plane: OpenStack 数据 面 
板 ; OpenStack Native Services: OpenStack 本 地 服务 ; VM: 虚拟 机 ; Docker: 一 个 开源 的 应 用 容器 引擎 。 










































































的 顶级 项 目 。 它 的 设计 目标 是 打造 一 个 厂商 中 立 的 、 针 对 云 供应 商 API 的 接口 。Apache 
Libcloud 目前 的 版 本 已 经 为 20 多 个 领先 的 云 供 应 商 提供 了 后 端 驱动 ， 包 括 Amazon EC2 、 








Rackspace Cloud 、GoGrid 和 Linode。 


4.5.4 Jclouds 


Jclouds 是 一 个 开源 的 Java 类 库 ， 云 计算 开发 包 用 于 进行 云 计算 应 用 开发 ， 并 可 重 
用 已 有 的 Java 和 Clojure (Lisp 语言 ) 技能 。 该 API 提供 云 计 算 环 境 的 可 移植 抽象 层 以 
及 云 规范 特性 ， 支 持 Amazon 、VMware 、Azure 和 Rackspace 等 云 计算 平台 。Jclouds 接口 
简单 ， 运 行 时 有 可 迁移 性 ， 可 以 处 理 基 于 网 络 计 算 引 入 的 一 些 问 题 ， 如 瞬时 失败 和 重新 
定向 。jJclouds 提供 了 Stub Connection ( 短 连接 ) 来 模拟 一 个 云 而 无 需 创 建 网 络 连 接 。 通 














过 此 方法 ， 可 以 编写 单元 测试 而 不 再 有 模拟 的 复杂 性 或 远程 连接 的 脆弱 性 。 
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5.1 私有 云 技术 路 线 的 选择 


云 计 算是 分 布 式 计算 、 并 行 计 算 、 网 络 存储 、 虚 拟 化 等 传统 计算 机 和 网 络 技术 发 展 
融合 的 产物 。 随 着 开 技术 的 不 断 发 展 和 演进 ， 云 计算 和 传统 开 技术 也 在 不 断 地 融合 发 
展 ， 其 技术 范畴 和 应 用 领域 也 在 不 断 折 展 ， 业 内 对 云 计算 也 没有 一 个 统一 的 定义 。 云 计 
算 的 核心 技术 和 发 展 的 趋势 总 结 如 下 : 











5.1.1 虚拟 化 技术 


虚拟 化 并 不 是 云 ， 是 建立 和 管理 云 的 一 项 支撑 技术 。 虚 拟 化 平台 会 将 计算 、 存 储 、 
网 络 资源 都 进行 抽象 并 进行 一 定 程度 的 融合 。 这 使 企业 的 数据 中 心 在 享受 虚拟 化 带 来 的 
便捷 的 同时 ， 还 要 面 对 增 加 了 一 个 虚拟 化 抽象 层面 的 问题 。 建 设 云 平台 时 应 重点 关注 虚 
拟 化 管理 和 上 自动 化 配置 方面 的 问题 。 虚 拟 化 涉及 服务 器 虚拟 化 、 网 络 虚 拟 化 、 存 储 虚 拟 
化 以 及 服务 虚拟 化 ， 并 使 用 虚拟 化 管理 工具 对 其 进行 管理 。 数 据 中 心虚 拟 化 技术 分 类 如 
图 5-1 所 示 。 

1. 服务 器 虚拟 化 

服务 器 虚拟 化 技术 是 指 将 服务 占 物 理 资 源 抽 象 成 逻辑 资源 ，CPU、 内 存 、 人 磁盘 、1/ 
0 等 硬件 均 变 成 可 以 动态 管理 的 “资源 池 ”， 一 台 服 务 咒 变 成 多 台 相 互 隔 离 的 虚拟 服务 
器 ， 可 提高 资源 的 利用 率 ， 简 化 系统 管理 ， 实 现 服务 器 资源 池 化 的 整合 ， 提 升 计算 资源 
对 业务 变化 的 适应 力 。 

2. 存储 虚拟 化 

存储 虚拟 化 技术 是 将 底层 存储 设备 进行 抽象 化 统一 管理 ， 向 服务 器 层 屏蔽 存储 设备 
人 硬件 的 特殊 性 ， 只 保留 其 统一 的 逻辑 特性 ， 从 而 实现 存储 系统 的 集中 、 统 一 、 方 便 的 管 
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服务 器 虚拟 化 存储 虚拟 化 






虚拟 化 管理 


服务 虚拟 化 网 络 虚拟 化 
图 5-1 数据 中 心虚 拟 化 技术 分 类 


理 。 对 于 存储 的 自动 化 管理 ， 也 是 存储 虚拟 化 的 一 大 研究 课题 。 

3. 网 络 虚拟 化 

在 云 计算 环境 下 ， 网 络 虚 拟 化 技术 与 服务 器 虚拟 化 技术 结合 使 用 。 物 理 服务 器 虚拟 
化 之 后 ， 一 台 物 理 机 上 运行 着 多 个 不 同 VLAN 的 虚拟 机 ， 虚 拟 机 之 间 通 过 虚拟 交换 机 与 
外 界 进行 数据 通信 。 通 过 虚拟 化 软件 ， 在 虚拟 交换 机 上 部 署 虚拟 防火 墙 ， 快 速 建立 新 的 
安全 网 络 。 对 IP 地 址 和 VLAN 的 管理 ， 是 目前 网 络 虚拟 化 中 最 普遍 的 应 用 。 

4. 服务 虚拟 化 

服务 虚拟 化 是 指 虚 拟 接口 以 服务 的 方式 对 外 公开 。 如 数据 中 心 常用 的 F5 负载 均 
衡 设备 ， 可 将 多 个 应 用 作为 单一 实例 来 进行 管理 ， 与 允许 用 户 直接 连接 到 每 个 应 用 
服务 器 相 比 ， 这 种 做 法 可 以 提供 更 安全 、 更 健壮 的 拓扑 。 这 是 一 种 一 对 多 的 虚拟 化 
表现 方式 。 对 外 表现 为 一 台 服 务 器 ， 实 际 隐藏 着 反 向 代理 设备 后 的 多 台 服 务 咒 的 可 
用 性 。 

5. 虚拟 化 管理 

虚拟 化 管理 是 指 协调 虚拟 资源 的 配置 和 协调 ， 以 及 对 资源 池 和 虚拟 实例 进行 运行 时 
加 以 协调 。 该 特性 包括 虚拟 资源 到 物理 资源 的 静态 映射 和 动态 映射 ， 还 包含 整体 的 管理 
功能 ,例如 容量 管理 、 分 析 、 收 费 以 及 SLA。 





5.1.2 软件 定义 数据 中 心 


软件 定义 数据 中 心 的 概念 是 对 数据 中 心虚 拟 化 技术 的 进一步 发 展 ， 凸 显 了 未 来 管理 
软件 和 管理 系统 对 于 数据 中 心 的 重要 性 。 云 平台 设计 ， 也 需要 吸收 相关 理论 的 适用 

部 分 。 
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1. VMware 的 软件 定义 数据 中 心 (Software Defined Data Center SDDC) 

VMware 于 2012 年 提出 了 “软件 定义 数据 中 心 (SDDC)” 的 概念 ， 该 概念 重点 关 
注 于 基础 设施 即 服 务 (IaaS)。VMware IaaS 产品 通过 自动 化 封装 和 基于 虚拟 化 的 云 互 联 
来 创建 一 个 基于 软件 的 数据 中 心 。 

SDDC 的 定义 如 下 : 

1) 所 有 资源 ， 包 括 存储 、 网 络 、 计 算 ， 管 理 等 全 部 虚拟 化 ， 并 以 服务 方式 提供 给 
用 户 ; 数据 中 心 的 控制 全 部 由 软件 来 完成 。 

2) 硬件 成 为 哑 的 “执行 层 ” ， 即 数据 中 心 是 “可 编程 的 ”。 

3) 资源 提供 速度 以 分 钟 、 秒 计算 。 

2. IBM 的 软件 定义 环境 (Software Defined Environment，SDE) 

IBM 公司 的 云 计算 数据 中 心 提出 了 类 似 的 概念 : 软件 定义 环境 (Software Defined 
Environment，SDE ) 。 其 定义 为 : 优化 整个 基础 设施 架构 以 便 满足 实际 需求 ， 实 现 应 用 
对 资源 的 优化 配置 、 调 配 和 使 用 ， 实 现 上 层 应 用 定制 策略 、 底 层 架 构 提 供 API， 核 心 是 
自动 化 和 工作 流 。 











5. 1.3 IT 运 维 管理 技术 


如 图 5-2 所 示 ，Gartner 发 布 的 2013 年 开 运 维 管理 的 技术 成 熟 曲线 模型 ， 包 含 了 
Gartner 对 开 运 维 管理 发 展 周期 的 39 项 技术 和 管理 的 预测 与 判断 ， 这 些 技术 的 发 展 与 
云 计算 数据 中 心 息息相关 ， 是 对 云 数 据 中 心 运 维 管 理 涉及 的 技术 和 工具 的 全 面 
总 结 。 

Gariner 的 技术 趋势 分 析 对 云 计算 数据 中 心 的 建设 有 着 重要 的 指导 意义 。 根 据 分 析 ， 
当前 laaS、SaaS 等 已 经 相对 比较 成 熟 ， 需 要 重点 关注 2 ~5 年 并 逐步 成 熟 的 工具 和 技术 
如 下 : 

1. 开发 运 维 衔接 (DevOps) 

DevOps 的 思想 是 提升 IT 服务 的 敏捷 性 。 在 业务 最 初 规划 设计 时 ， 就 在 多 个 云 服务 
之 间 进 行 比较 沟通 ， 选 择 最 佳 技 术 方 案 ， 并 同时 利用 自动 化 工具 尽量 减少 业务 生命 周期 
内 的 人 工 干预 程度 。 

2. 应 用 自动 发 布 (Application Release Automation ) 

在 整个 业务 流程 中 ， 应 用 自动 发 布 系统 为 应 用 程序 、 应 用 配置 、 应 用 数据 提供 了 自 
动 化 工具 ， 该 工具 为 应 用 发 布 、 业 务 环 境 和 工作 流 管理 平台 提供 了 相关 的 自动 化 接口 ， 
是 DevOps 在 维护 大 规模 系统 中 使 用 的 关键 工具 。 

3. 云 管理 平台 (Cloud Management Platforms ) 

云 管理 平台 实现 集中 控制 数据 中 心 的 目的 。 该 平台 将 访问 管理 层 、 服 务 管理 层 和 服 
务 优化 层 三 层 紧 密 地 结合 起 来 。 访 问 管理 层 是 用 户 的 入 口 、 包 括 自 服务 接口 、 外 部 程序 
接口 、 用 户 授 权 等 功能 ;服务 管理 层 是 云 管理 平台 的 核心 ， 包 括 服 务 目 录 、 服 务 模型 、 
服务 配置 等 功能 ;服务 优化 层 包 括 服务 抽象 优化 、 服 务 接口 管理 的 功能 。 
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4. 企业 级 应 用 仓库 ( Enterprise Application Stores) 

该 仓库 存储 了 所 有 应 用 当前 和 历史 版 本 ， 同 时 为 发 布 自动 化 系统 提供 接口 ， 一 起 帮 
助 用 户 存 储 分 发 应 用 代码 和 应 用 配置 。 

5. IT 流程 自动 化 工具 (IT Process Automation Tools ) 

该 工具 包括 三 个 关键 的 元 素 ， 即 工作 流 、 自 动 化 引擎 和 集成 框架 。 工 作 流 代表 了 
ITIL 系统 ， 集 成 框架 可 以 舱 入 自动 化 代码 ， 自 动 化 引擎 实现 两 者 联动 。IT 流程 自动 化 
工具 减轻 了 IT 人 员 的 重复 劳动 。 

6. 配置 管理 数据 库 (IT Service View CMDB) 

CMDB 不 仅 是 一 个 配置 管理 数据 库 ， 还 是 整个 业务 的 配置 管理 中 心 ， 提 供 IT 服务 
模型 映射 图 、 业 务 的 集成 和 耦合 关系 表 、 信 息 和 数据 的 同步 策略 。 在 发 布 应 用 时 就 需要 
自动 读 取 应 用 在 CMDB 中 的 相关 配置 。 

7. 网 络 配置 和 变更 管理 工具 (Network Configuration and Change Management Tools ) 

此 工具 用 以 管理 网 络 设备 的 配置 、 审 计 变 更 、 保 存 历史 记录 ， 同 时 生成 相关 文档 。 
在 需要 时 可 以 随时 利用 工具 将 配置 回 深 到 指定 的 历史 版 本 。 

8. 服务 需 便 件 配置 管理 (Server Provisioning and Configuration Management) 

该 工具 提供 了 对 各 个 厂商 的 设备 的 硬件 配置 的 操作 管理 功能 ， 提 高 对 于 服务 带 配 置 
的 自动 化 ， 对 于 大 规模 的 云 计算 数据 中 心 尤 其 重要 。 

9. 服务 编排 (Job-Scheduling Tools) 

由 于 各 个 业务 之 间 存 在 复杂 的 逻辑 关系 ， 每 个 工作 流 在 启动 时 有 时 间 限 制 和 依赖 关 
系 。 该 工具 需要 对 各 个 工作 流 进 行 分 析 ， 并 为 其 提供 基于 日 期 和 时 间 的 细 粒 度 调 度 策 
略 ， 实 现 工作 流 更 灵活 的 组 合 。 














5.1.4 私有 云 建设 技术 的 选择 


私有 云 是 指 在 企业 私有 网 络 上 使 用 云 计算 产品 ， 金 融 行业 对 数据 的 安全 性 、 个 人 隐 
私 、 系 统 可 靠 性 、 自 主 可 控 、 监 管 要 求 等 方面 的 考虑 ， 当 前 和 今后 相当 长 一 段 时间 ， 金 
融 行业 的 云 计算 数据 中 心 普遍 采用 私有 云 。 对 于 商业 银行 而 言 ， 建 设 私 有 云 既 要 考虑 技 
术 方 面 的 因素 ， 也 要 从 行业 特点 、 应 用 特点 、 组 织 架 构 、 现 有 技术 继承 等 多 方面 因素 综 
合 考虑 。 

1. 虚拟 化 技术 的 选择 

虚拟 化 技术 是 建设 云 平 台 的 基础 。 在 目前 使 用 最 广泛 的 服务 器 虚拟 化 领域 就 存在 多 
种 虚拟 化 的 技术 方案 和 产品 ， 既 有 开源 产品 也 有 商业 产品 ， 如 XenServer、KVM、 
vSphere 和 FusionSphere 等 。 对 于 私有 云 ， 成 本 、 稳 定性、 可 靠 性 、 可 维护 性 都 是 选择 
的 因素 ， 相 对 商业 产品 在 功能 稳定 性 、 完 备 性 方面 和 技术 支持 方面 都 有 一 定 的 优势 ， 目 
前 大 多 数 企业 都 选择 商业 产品 。 而 互联 网 企业 基本 都 选择 开源 产品 ， 这 其 中 有 成 本 因素 
考虑 ， 但 更 重要 的 是 技术 积累 和 掌握 的 问题 ， 相 对 于 一 般 企 业 ， 互 联网 公司 汇聚 了 大 量 
的 技术 专家 ， 对 开源 产品 不 仅仅 是 拿 过 来 使 用 ， 而 是 具备 了 代码 级 的 修改 及 运 维 能 
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而 且 不 少 公司 都 直接 给 开源 产品 贡献 代码 。 对 于 商业 银行 而 言 ， 稳 定 、 可 靠 始终 是 首要 
的 考虑 因素 ， 在 对 开源 产品 缺少 足够 的 技术 积累 前 ， 商 业 产品 还 是 第 一 选择 。 但 是 从 长 
远 来 看 ， 自 主 可 控 和 国产 化 是 未 来 的 技术 主线 。 因 此 在 建设 私有 云 ， 进 行 总 体 架构 规划 
设计 时 要 考虑 对 虚拟 化 技术 的 松 宰 合 ， 有 条 件 的 企业 可 以 考虑 走 商业 产品 和 开源 产品 
并 行 的 路 线 ， 在 核心 的 关键 应 用 领域 使 用 商业 产品 ， 在 非 关 键 业 务 或 者 内 部 办 公 应 
用 领域 使 用 开源 产品 。 这 样 既 积累 了 开源 产品 的 技术 和 使 用 经 验 也 各 免 了 单一 商业 
产品 绑 定 。 

2. 云 平台 建设 方式 的 选择 

目前 国内 外 不 少 公司 都 推出 了 自己 的 私有 云 产 品 。 长 期 以 来 金融 行业 出 于 风险 控制 
的 考虑 ， 大 部 分 基础 产品 都 使 用 商业 产品 。 云 计算 技术 的 核心 是 理念 、 流 程 、 技 术 的 深 
度 结合 ， 从 技术 本 身 而 言 不 存在 太 高 的 技术 壁 侄 和 风险 ， 在 云 计 算 发 源 的 互联 网 和 电信 
行业 ， 基 本 都 采取 自主 研发 路 线 。 当 前 云 计算 还 在 快速 发 展 中 ， 厂 商 产 品 的 成 熟 度 还 不 
够 ， 往 往 很 难 覆盖 全 部 需求 ， 而 且 使 用 厂商 产品 还 要 面临 整合 的 问题 。 因 此 ， 在 充分 调 
研 和 反复 论证 的 基础 上 ， 吸 取 最 新 研究 成 果 和 先进 厂商 的 成 熟 产 品 优点 ， 走 自主 研发 的 
道路 ， 量 身 定制 符合 企业 需求 的 私有 云 平台 应 当 是 重点 考虑 的 建设 方式 。 自 主 研发 的 云 
平台 能 够 充分 满足 并 体现 的 商业 银行 的 业务 特点 和 实际 需要 ， 也 能 够 扭转 技术 路 线 被 厂 
商 驱 动 的 被 动 局 面 。 当 然 ， 自 主 研发 要 抓 关键 点 ， 要 避免 “重复 发 明 轮子 " ， 应 采取 博 
采 众 家 所 长 的 策略 ， 对 需求 分 析 、 系 统 设计 的 完全 自主 化 ， 边缘 的 系统 集成 、 非 核心 的 
功能 开发 ， 可 采取 厂商 产品 或 合作 公司 产品 。 

3. 工具 和 流程 一 体 化 

在 云 计算 数据 中 心 ， 资 源 的 池 化 和 规模 化 降低 成 本 的 要 求 使 得 服务 器 的 数量 远 起 
过 了 传统 数据 中 心 的 规模 ， 而 运 维 管理 人 员 的 数量 则 相对 非常 有 限 。 在 一 些 大 规模 
的 云 计算 数据 中 心 ， 管 理 员 和 服务 器 的 比率 甚至 达到 了 1:1500， 如 果 不 借助 高 效 自 
动 化 的 管理 工具 ， 依 靠 人 工 的 模式 根本 无 法 保障 云 计算 数据 中 心 的 正常 运行 。 利 用 
自动 化 实现 集中 统一 的 自动 化 管理 ， 强 制 执行 最 佳 实践 和 自动 化 服务 ， 是 云 计算 数 
据 中 心 运行 管理 的 关键 。 和 传统 数据 中 心 的 自动 化 不 同 的 是 ， 云 数据 中 心 的 自动 化 
不 仅 是 工具 的 自动 化 ， 还 是 实现 流程 的 自动 化 。 通 过 管理 工具 和 管理 流程 的 同步 建 
设 和 深度 结合 ， 实 现 运 维 管理 、 运 维 流程 、 运 维 操作 的 全 面 自动 化 ， 解 决 管理 工具 
和 流程 之 间 的 信息 孤岛 。 

1) 运 维 管 理 自动 化 ， 云 管理 平台 实现 了 流程 编排 、 资 源 部 署 、 资 源 管 理 、 资 源 监 
控 等 的 自动 化 。 

2) 运 维 流程 自动 化 ， 云 管理 平台 与 服务 管理 流程 平台 进行 信息 交互 ， 实 现 了 服务 
申请 、 服 务 审批 、 服 务实 施 、 服 务 交付 等 环节 的 关联 与 互通 ， 达 到 了 运 维 流程 的 自 
动 化 。 

3) 运 维 操作 自动 化 云 管理 平台 实现 了 服务 启 停 、 自 动 巡 检 、 合 规 检查 、 配 置 比 
对 、 系 统 部 署 、 软 件 分 发 、 版 本 及 补丁 管理 等 运 维 操作 的 自动 化 ， 大 大 提升 了 日 常 运 维 
的 工作 效率 ,减少 了 因 人 为 误 操作 引起 的 风险 。 
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5.2 私有 云 总 体 架 构 设 计 


5.2.1 设计 思路 


商业 银行 私有 云 架构 应 基于 支持 虚拟 化 与 云 管理 的 自动 化 、 监 管控 一 体 化 、 开 发 与 
运 维 流程 化 、 深 化 决策 分 析 、 面 向 SOA 的 组 件 及 服务 管理 的 运 维 管理 模式 等 思路 设计 。 

1) 云 环境 部 署 和 管理 . 随 着 虚拟 化 和 云 环 境 发 展 ， 基 础 环境 与 以 往 环境 有 了 很 大 
的 变化 ， 必 须 充分 认识 理解 虚拟 化 环境 和 云 环境 的 管理 特性 ， 结 合 发 展 趋势 ， 采 用 先进 
技术 平台 架构 和 管理 理念 进行 建设 。 

2) 监管 控 一 体 化 ， 总 结 前 期 运 维 经 验 ， 在 架构 设计 中 关注 监控 、 流 程 、 自 动 化 的 
综合 协作 管理 ， 实 现 监控 发 现 〈 眼 ) 、 流 程 管控 ( 脑 )、 自 动 化 修复 及 核查 ( 手 ) 的 问 
题 处 理 全 流程 协作 ， 将 监管 控 三 个 不 同 功能 域 整合 在 一 起 ， 相 互 驱动 ， 减 少 线 下 操作 ， 
提升 操作 标准 化 、 规 范 化 和 自动 化 程度 。 

3) 开发 与 运 维 衔接 : 借助 业界 一 些 方法 论 如 DevOps， 根 据 各 商业 银行 的 特点 ,将 开 
发 到 运 维 环节 衡 接 起 来 ， 纳 入 统一 管控 ， 既 要 支撑 高 效率 的 应 用 发 布 工作 ， 也 要 避免 频繁 
发 布 中 一 些 管控 环节 不 到 位 导致 的 业务 系统 故障 ， 从 源头 开始 管控 ， 有 效 支 撑 业 务 发 展 。 

4) 面向 SOA 的 组 件 及 服务 管理 : 在 面向 服务 的 架构 环境 中 ， 应 从 以 往 关注 开 组 
件 层 面 的 监控 管理 提升 到 端 到 端面 向 业务 的 管理 ， 实 现 对 应 用 层面 、 业 务 流程 层面 、 用 
户 层面 全 方位 深入 的 监控 和 管理 ; 同时 应 结合 新 架构 的 技术 特点 ， 关 注 IT 服务 层 运 行 
状态 ,深化 开 内 部 运行 机 制 的 管控 ，IT 服务 层 是 承接 业务 与 IT 组 件 的 关键 环节 ，SOA 
的 架构 更 加 强化 规范 了 IT 服务 层 ，IT 服务 层 对 上 支撑 错综复杂 的 业务 运行 ， 对 下 协作 
各 IT 组件 的 工作 ， 是 整个 新 一 代 系 统 运行 的 重 中 之 重 。 

5) 开发 测试 生产 环境 标准 化 管理 : 实现 从 开发 测试 生产 环境 一 条 线 ， 一 体 化 管 
理 ， 除 确保 生产 环境 保障 外 ， 应 将 开发 测试 环境 也 纳入 统筹 管理 ， 在 依托 平台 组 件 的 基 
础 上 将 开发 测试 环境 管理 任务 标准 化 、 流 程 化 。 

6) 深化 决策 分 析 : 现 有 平台 数据 分 析 及 展现 分 散在 多 个 平台 环境 中 ， 一 方面 操作 
不 便 ， 使 用 方法 和 表达 方式 都 不 统一 ; 另 一 方面 也 形成 了 数据 孤岛 ， 缺 乏 横向 联合 分 析 
手段 ， 使 用 者 需要 跨 平台 操作 ， 采 用 集中 化 的 管理 门户 和 报表 系统 将 各 类 数据 源 进 行 统 
一 展示 和 分 析 ， 使 用 者 在 个 性 化 的 视图 中 对 多 个 平台 数据 进行 浏览 和 处 理 。 





























5. 2.2 ”架构 概览 


如 图 5-3 所 示 ， 商 业 银行 私有 云 架 构 应 包括 云 服 务 、 云 管理 、 资 源 池 等 部 分 ， 同 时 
还 需要 与 配置 管理 、 监 控 管 理 、 流 程 管理 、 容 量 管理 等 相 结 合 ， 共 同 实现 云 管理 的 相关 
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图 5-3 ”商业 银行 私有 云 架 构 
注 : PaaS: 平台 即 服务 ; IaaS: 基础 设施 即 服务 ， Web: 万 维 网 ，Java: 一 种 可 以 撰写 跨 平 台 应 用 程序 的 面 
向 对 象 的 程序 设计 语言 ，Linux: 一 套 免费 使 用 和 自由 传播 的 类 Unix 操作 系统 ; Windows: 美国 微软 公司 研发 的 
一 套 操作 系统 ;Unix: 是 一 个 强大 的 多 用 户 、 多 任务 操作 系统 ; CMDB: 配置 管理 数据 库 ，X86: 对 基于 intel 处 
理 器 的 系统 的 标准 缩写 ;SAN: Storage Area Network ， 存 储 区 域 网 络 ， 是 一 种 高 速 网 络 或 子 网 络 ， 提 供 在 计算 机 
与 存储 系统 之 间 的 数据 传输 ;NAS 网 络 附属 存储 ( Network Attached Storage) ; 0SD: 基于 对 象 的 存储 设备 ( 0b- 


ject-based Storage Device ) 
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第 6 童 
云 基础 设施 设计 


6.1 机 房 环境 资源 规划 与 设计 


6.1.1 云 计算 对 机 房 环 境 资 源 的 要 求 





云 计算 是 一 种 资源 交付 和 使 用 模式 ， 通 过 网 络 可 获得 应 用 所 需 的 资源 (硬件 、 平 
台 、 软 件 ) ， 是 随 着 处 理 器 技术 、 虚 拟 化 技术 、 分 布 式 存 储 技术 、 宽 带 互 联网 技术 和 自 
动 化 管理 技术 的 发 展 而 产生 的 。 而 所 有 的 应 用 所 需要 的 计算 能 力 、 存 储 、 带 宽 、 电 力 都 
由 数据 中 心 提 供 。 因 此 ， 云 计算 环境 下 的 数据 中 心机 房 规划 显得 尤为 重要 。 

1. 超大 规模 

“ 云 ” 一 般 具 有 相当 的 规模 ， 亚 马 逊 云 计算 已 经 拥有 上 百 万 台 服 务 器 ， 微 软 、 阿 里 
云 等 的 “ 云 ” 均 拥有 几 十 万 台 服 务 器 。“ 云 ”能 赋予 用 户 前 所 未 有 的 计算 能 力 。 因 此 ， 
云 计算 数据 中 心机 房 的 面积 也 非常 大 。 

2. 高 密度 

云 计算 是 一 种 集中 化 的 部 署 方式 ， 要 在 有 限 空间 内 支持 高 负载 、 刀 片 式 服 务 器 等 高 
密度 设备 是 必然 选择 。 

3. 灵活 快速 扩展 

“ 云 ” 的 规模 可 以 动态 伸缩 ， 满 足 应 用 和 用 户 规模 增长 的 需要 。 其 数据 中 心 必须 具 
RE 0 

降低 运 维 成 本 

用 进行 计量 、 计 费 服 务 ， 这 也 是 原来 开 部门 是 成 本 部 门 的 
重大 转变 。 通 过 容量 分 析 ， 实 现 资源 动态 、 弹 性 伸缩 ， 将 会 大 大 降低 资源 使 用 率 ， 降 低 
运 维 成 本 。 
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5. 自动 化 资源 监控 和 测量 

云 计算 数据 中 心 应 是 24h x7 无 人 值守 的 、 可 远程 管理 的 ， 这 种 管理 涉及 整个 数据 
中 心 的 自动 化 运营 ， 它 不 仅 监测 与 修复 设备 的 硬件 故障 ， 而 且 要 实现 从 机 房 风 火 水 电 环 
境 、 服 务 器 和 存储 系统 到 应 用 的 端 到 端的 基础 设施 统一 管理 。 

6. 高 可 靠 性 

云 计 算 要 求 其 提供 的 云 服务 连续 不 中 断 ,“ 云 ”使 用 了 数据 多 副本 容错 、 计 算 节 点 
同 构 可 互 换 等 措施 来 保障 服务 的 高 可 靠 性 ， 使 用 云 计算 比 使 用 本 地 计算 机 更 可 靠 。 同 
样 ， 在 机 房 环 境 设 施 方面 ， 也 提出 了 对 机 房 环 境 高 可 靠 性 的 要 求 。 














6.1.2 云 计 算 机 房 规划 设计 要 点 








本 节 主 要 介绍 的 是 因 云 计算 环境 特点 而 需 考虑 的 机 房 规划 设计 要 点 。 而 机 房 常规 设 
计 要 素 ， 如 : 环境 要 求 、 建 筑 与 结构 、 空 所 调节、 电气 技 术 、 机 房 布线 、 排 水 灌水 、 消 
防 安防 等 ， 不 在 本 节 介绍 范围 内 。 

6.1.2.1 机 房 资源 信息 管理 

机 房 资源 信息 是 机 房 运 维 管理 ， 以 及 资源 规划 和 分 配 的 基础 ， 因 此 在 进行 机 房 规划 
和 设计 时 ， 必 须 考虑 机 房 资 源 信息 的 获取 及 管理 。 机 房 资 源 信息 应 支持 按 机 房 功能 区 
域 、 配 电 柜 、 机 柜 等 不 同 颗粒 度 或 需求 进行 统计 展示 。 机 房 资 源 信息 主要 包括 的 要 
素 有 : 

1) 设备 : 设备 厂商 、 类 型 、 型 号 、 序 列 号 、 物 理 尺寸 、 物 理 位 置 、 功 耗 、 电 源 数 
量 、 网 口 数 量 和 类 型 、 光 纤 口 数量 和 类 型 等 。 

2) 机 柜 : 机 柜 类 型 、 物 理 尺 寸 、 已 占用 空间 、 已 占用 位 置 、 可 用 空间 、 可 用 位 
置 等 。 

3) 网 络 及 存储 信息 点 : 信息 点 数量 、 信 息 点 类 型 、 已 用 信息 点 、 可 用 信息 点 等 。 

4) 供电 : 电流 、 电 压 、 功 率 、 可 用 电量 等 。 

5) 温 湿度 : 温度 、 湿 度 等 。 

6.1.2.2 设备 管理 

由 于 云 计算 设备 数量 巨大 ， 而 且 经 常 存在 上 架 安装 、 退 库 下 线 、 位 置 迁移 等 变更 操 
作 ， 所 以 管理 好 设备 实物 ， 使 得 与 机 房 资源 信息 系统 中 的 记录 “ 账 实 相 符 ” 就 显得 尤 
为 重要 。 射 频 识别 (RFID) 是 一 种 无 线 通 信 技 术 ， 可 以 通过 无 线 电 信号 识别 特定 目标 
并 读 写 相关 数据 ， 而 无 需 识别 系统 与 特定 目标 之 间 建 立 机 械 或 者 光学 接触 。 无 线 电 信和 号 
是 通过 调 成 无 线 电 频率 的 电磁 场 ， 把 数据 从 附着 在 物品 上 的 标签 上 传送 出 去 ， 以 自动 辨 
识 与 追踪 该 物品 。 某 些 标签 在 识别 时 从 识别 器 发 出 的 电磁 场 中 就 可 以 得 到 能 量 ， 并 不 需 
要 电池 ; 也 有 标签 本 身 拥 有 电源 ， 并 可 以 主动 发 出 无 线 电波 〈 调 成 无 线 电 频率 的 电磁 
场 ) 。 标 签 中 包含 了 电子 存储 的 信息 ， 数 米 之 内 都 可 以 识别 。 与 条 形 码 不 同 的 是 ， 射 频 
标签 不 需要 在 识别 器 视线 之 内 ， 也 可 以 嵌 人 被 追踪 物体 之 内 。 
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6.1.2.3 机房 制 冷 

云 计算 相 比 传统 环境 ， 大 量 应 用 高 密 设备 ， 单 机 柜 内 设备 数量 、 功 率 密度 、 发 热 密 
度 都 有 巨大 提高 。 因 此 ， 在 机 房 规 划 设 计时 需 重 点 考虑 高 密 设 备 的 制冷 、 散 热 问 题 。 具 
体 需 考虑 的 因素 主要 包括 机 柜 负 载 、 气 流 组 织 形式 、 制 冷 方式 、 制 冷 设备 、 节 能 因素 、 
服务 器 散 热 方式 等 。 

随 着 液 冷 技术 的 开发 和 兴起 ，HP、DELL、SGI、 思 科 、 富 士 通 、 超 微 、 联 想 、 华 
为 、 上 曙光 等 厂商 均 推 出 了 液 冷 服务 器 ， 其 工作 方式 大 致 可 以 分 为 间接 的 冷 板 方式 和 直接 
的 浸没 方式 两 种 。 用 液体 来 制冷 ， 其 热 容 和 导热 方面 ， 比 空气 要 好 1000 倍 以 上 ， 因 此 ， 
液 冷 服务 器 可 以 实现 更 高 密度 、 节 能 省 电 、 绿 色 环 保 等 目标 ， 是 云 计算 一 种 不 错 的 选 
择 。 如 果 选 择 使 用 液 冷 服务 器 ， 机 房 在 规划 设计 时 ， 还 需 考 虑 液体 管 路 的 相关 设计 。 

6. 1.2.4 模块 化 数据 中 心 

由 于 云 计算 数据 中 心 需要 良好 的 扩展 性 ， 所 以 可 考虑 采用 模块 化 设计 。 模 块 化 数据 
中 心 ， 是 指 将 电力 、 制 冷 、 通 信 电 比 以 及 相关 的 环境 监控 等 都 预先 部 署 在 一 个 框架 上 ， 
预先 完成 测试 ， 然 后 将 这 个 框架 直接 部 署 到 数据 中 心 ， 从 而 形成 一 个 完整 的 数据 中 心 。 
所 以 ， 云 计算 可 以 根据 规模 和 需求 定制 模块 化 数据 中 心 ， 并 随 着 业务 发 展 需求 ， 逐 步 扩 
建 数据 中 心 规 模 ， 实 现 边 成 长 边 投 资 的 目标 。 此 外 ， 由 于 模块 化 数据 中 心 采 用 的 是 规格 
统一 、 标 准 化 的 预制 件 ， 所 以 ， 其 除了 扩展 灵活 简便 以 外 ， 还 具备 施工 部 署 快速 高 效 、 
易于 维护 管理 、 节 能 环保 等 优点 。 

6.1.2.5 动 环 监控 

动 环 监控 是 针对 各 类 机 房 中 的 动力 设备 及 环境 变量 进行 集中 监控 ， 一 套 完 善 的 动 环 
监控 可 以 实现 机 房 的 无 人 值守 ， 以 及 电源 、 空 调 的 集中 监控 维护 管理 ， 提 高 供电 系统 的 
可 靠 性 和 通信 设备 的 安全 性 ， 为 机 房管 理 的 自动 化 、 运 行 智能 化 和 决策 科学 化 提供 有 力 
的 技术 支持 。 动 环 监控 的 对 象 一 般 包 括 UPS、 配 电 柜 、 加 湿 器 、 空 调 、 温 湿度 仪 等 设备 
的 运行 状态 ， 以 及 机 房 温度 、 湿 度 、 漏 水 等 环境 要 素 。 


















































6.2 计算 资源 规划 设计 


6.2.1 资源 池 组 成 


资源 池 是 基础 设施 云 的 重要 组 成 部 分 。 在 基础 设施 云 架 构 下 ,计算 资源 、 存 储 资 
源 、 网 络 资源 在 统一 的 云 管理 平台 下 被 封装 整合 为 资源 池 ， 以 云 服 务 的 方式 提供 给 服务 
使 用 者 。 

按照 技术 平台 类 型 分 为 x86 平台 、AIX 和 HPUX 三 种 技术 平台 。 

1) x86 平台 资源 池 又 分 为 VMware 虚拟 化 平台 架构 和 x86 物理 服务 器 组 成 的 大 数 
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据 类 应 用 集群 架构 。 其 中 ，VMware 虚拟 化 平台 架构 资源 池 主 要 满足 Web 、 中 间 件 ， 以 
及 其 他 以 标准 Linux、Windows 为 系统 平台 的 应 用 的 需求 ， 大 数据 资源 池 满 足 Hadoop 和 
MPP (大 规模 并 行 处 理 平台 ) 等 大 数据 分 析 类 应 用 需求 。 

2) AIX 平台 资源 池 全 部 采用 PowerVM 虚拟 化 技术 ， 主 要 满足 数据 库 类 应 用 ， 同 时 
满足 部 分 应 用 服务 器 的 部 署 需求 。 

3) HPUX 平台 资源 池 ， 不 采用 虚拟 化 技术 ， 部 署 的 业务 类 型 和 AIX 平台 资源 池 
相同 。 

综 上 ， 资 源 池 的 类 型 见 表 6-1。 

表 6-1 资源 池 的 类 型 
































































































































序号 平台 类 型 资源 池 类 型 名 称 主要 服务 属性 | 次 要 服务 属性 其 他 服务 属性 
1 x86 x86 虚拟 化 资源 池 A Web 一 一 
2 x86 x86 虚拟 化 资源 池 B 应 用 前 置 Web 
3 x86 x86 虚拟 化 资源 池 C 应 用 Web 一 
4 x86 大 数据 资源 池 A Hadoop 一 
5 x86 大 数据 资源 池 B MPP = 
6 AIX AIX 虚拟 化 资源 池 A 数据 库 应 一 
7 AIX AIX 虚拟 化 资源 池 B 数据 库 应 
8 HPUX HPUX 资源 池 A 应 用 数据 库 
9 HPUX HPUX 资源 池 B 应 用 数据 库 ss 
10 HPUX HPUX 资源 池 C 数据 库 应 Es 
11 HPUX HPUX 资源 池 D 数据 库 应 一 












































6.2.2 资源 池 分 区 





在 银行 数据 中 心 的 基础 设施 环境 中 ， 为 了 保证 风险 可 控 ， 对 安全 性 要 求 较 高 ， 为 
此 ， 从 网 络 上 划分 了 多 个 安全 区 域 。 为 了 满足 应 用 上 线 的 需求 并 同时 符合 网 络 安全 访问 
控制 的 策略 ， 基 础 架构 网 络 中 需要 部 署 资 源 池 的 有 以 下 几 个 区 域 . 

1) 开放 服务 区 : 部 署 各 类 核心 业务 系统 。 

2) 运行 管理 区 : 部 署 各 类 管理 服务 器 。 

3) 互联 网 DMZ 服务 区 : 实现 互联 网 接 人 及 互联 网 应 用 部 署 。 

4) 外 联 DMZ 服务 区 : 实现 与 外 部 机 构 互联 及 外 联网 应 用 部 署 。 


























6.2.3 资源 池 部 署 规划 


由 于 要 满足 网 络 安全 访问 控制 的 要 求 ， 所 以 同一 个 标准 资源 池 不 能 跨 网 络 区 域 部 
署 。 在 同一 个 网 络 区 域内 ， 按 照 不 同 的 硬件 平台 (如 AIX、HP、x86) 划分 为 多 个 不 
同类 型 的 资源 池 。 
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为 了 满足 应 用 系统 上 线 的 需求 ， 在 相关 区 域 中 (开放 服务 区 、 运 行 管理 区 、 互 联 
网 DMZ 服务 区 、 外 联 DMZ 服务 区 ) 选择 以 下 标准 资源 池 进 行 部 署 。 部 署 区 域 与 资源 池 
类 型 的 关系 见 表 6-2。 





表 6-2 部 署 区 域 与 资源 池 类 型 的 关系 


































































































序号 部 署 区 域 平台 资源 池 类 型 
1 互联 网 DMZ 服务 区 X86 资源 池 X86 虚拟 化 资源 池 A 
外 联 DMZ 服务 区 X86 资源 池 X86 虚拟 化 资源 池 B 
X86 资源 池 X86 虚拟 化 资源 池 A 
X86 资源 池 X86 虚拟 化 资源 池 B 
3 开放 服务 区 
AIX 虚拟 化 资源 池 A 
AIX 资源 池 
AIX 虚拟 化 资源 池 B 
X86 资源 池 大 数据 资源 池 A 
X86 资源 池 大 数据 资源 池 B 
HPUX 资源 池 A 
3 开放 服务 区 
HPUX 资源 池 B 
HP 资源 池 
HPUX 资源 池 C 
HPUX 资源 池 DD 
X86 资源 池 X86 虚拟 化 资源 池 C 
4 运行 管理 服务 区 AIX 虚拟 化 资源 池 A 
AIX 资源 池 

















AIX 虚拟 化 资源 池 B 


6.2.4 部 署 单元 规划 


资源 池 构建 过 程 为 : 由 计算 、 存 储 、 网 络 等 领域 部 署 单元 (TDU) 组 成 构建 单元 ， 
由 一 个 或 多 个 构建 单元 按照 一 定 的 构造 策略 组 成 云 部 署 单元 (CDP) ， 满 足 一 类 应 用 对 
安全 、 高 可 用 、 可 扩展 等 要 求 。 在 相应 的 网 络 区 域 部 署 所 需 类 型 和 数量 的 云 部 署 单元 构 
成 提供 某 种 服务 的 资源 池 。 云 部 署 单 元 构建 流程 如 图 6-1 所 示 。 

1. 领域 部 署 单元 

领域 部 署 单元 是 提供 某 一 领域 功能 的 产品 或 能 力 ， 领 域 部 署 单元 包括 计算 领域 部 署 
单元 、 存 储 领域 部 署 单 元 和 网 络 领 域 部 署 单 元 。 

(1) 计算 领域 部 署 单元 ”计算 领域 资源 按照 不 同 的 技术 平台 类 型 、 厂 商 、 性 能 等 指标 
进行 分 类 组 织 ， 形 成 能 够 提供 计算 功能 的 不 同 档 次 的 部 署 单元 ， 该 部 署 单元 和 存储 领域 部 署 
单元 、 网 络 领域 部 署 单 元 结合 形成 能 够 提供 不 同类 型 服务 的 构建 单元 ， 由 一 类 构建 单元 按照 
一 定 架 构 策略 组 织 起 来 形成 有 一 定 可 用 性 、 安 全 性 、 可 管理 性 的 集合 云 部 署 单元 (CDP)， 
由 云 管理 平台 统一 进行 调度 和 资源 分 配 ， 从 而 实现 自动 化 、 弹 性 的 基础 架构 。 

(2) 存储 领域 部 署 单元 ”存储 领域 资源 按照 不 同 的 技术 类 型 、 配 置 、 性 能 等 指标 
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CDP-1 CDP-2 








计算 领域 资源 


存储 领域 资源 


一 -全 一 一 







构建 单元 


网 络 领域 资源 
资源 池 -2 





图 6-1 云 部 署 单元 构建 流程 

进行 分 类 组 织 ， 形 成 能 够 提供 数据 存储 功能 的 不 同 档次 的 部 署 单元 (TDU) ， 该 部 署 单 
元 和 计算 领域 部 署 单元 、 网 络 领域 部 署 单元 结合 形成 能 够 提供 不 同类 型 服务 的 构建 单 
元 ， 由 一 类 构建 单元 按照 一 定 架 构 策略 组 织 起 来 形成 有 一 定 可 用 性 、 安 全 性 、 可 管理 性 
的 集合 云 部 署 单元 (CDP) ， 由 云 管理 平台 统一 进行 调度 和 资源 分 配 ， 从 而 实现 自动 化 、 
弹性 的 基础 架构 。 

(3) 网 络 领 域 部 署 单元 ”按照 实际 需求 ， 网 络 领 域 资源 按照 服务 提供 点 (POD) 描 
述 网 络 接 入 资源 分 为 四 类 ， 即 千 兆 接 入 POD、 普 通 万 兆 接 入 POD、 大 数据 万 兆 接 入 
POD 和 NAS 万 兆 接 入 POD。 

2. 构建 单元 

构建 单元 是 由 一 个 或 多 个 领域 部 署 单元 组 成 的 ， 能 够 形成 服务 供给 能 力 的 最 小 单 
位 。 由 一 类 构建 单元 按照 一 定 架 构 策略 组 织 起 来 形成 有 一 定 可 用 性 、 安 全 性 、 可 管理 性 
的 集合 称 为 云 部 署 单元 (CDP) 。 

















6.3 网 络 资源 规划 设计 


6.3.1 网 络 虚拟 化 关键 技术 


6.3.1.1 网 络 设备 虚拟 化 


目前 的 虚拟 交换 机 技术 有 两 种 ， 一 种 是 多 对 一 虚拟 化 ; 男 一 种 是 一 对 多 虚拟 化 。 
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1) 多 对 一 虚拟 化 是 指 将 多 台 物 理 交 换 机 的 控制 平面 整合 起 来 ， 使 其 表现 为 一 个 四 
辑 交 换 机 ， 主 流 技 术 有 思科 公司 的 VSS (Virtual Switching System ， 虚 拟 交 换 系 统 ) 和 
H3C 的 IRF (Intelligent Resilient Framwork， 智 能 弹性 架构 ) 。 通 过 多 对 一 虚拟 化 ， 可 以 
带 来 以 下 好 处 : 实现 二 层 无 环 的 网 络 架构 ， 避 免 维护 复杂 的 生成 树 协议 ， 网 络 中 无 阻塞 
端口 ， 提 高 物理 线路 的 有 效 利 用 率 ; 无 需 采 用 传统 的 虚拟 路 由 宛 余 协议 (Virtual Router 
Redundancy Protocol ，VRPP ) ， 台 交 换 机 均 可 实现 三 层 转 发 ， 提 高 设备 利用 率 ; 多 对 
一 虚拟 化 减少 了 网 络 节 点 ， 从 而 使 网 络 管理 得 以 简化 。 

2) 一 对 多 虚拟 化 是 指 将 一 台 物 理 交 换 机 划分 为 多 台 虚 拟 交换 机 ， 各 个 虚拟 交换 机 
间 的 管理 和 数据 转发 功能 都 独立 ， 通 过 一 对 多 虚拟 交换 机 技术 ， 可 以 把 对 安全 要 求 高 、 
原来 必须 运行 在 独立 网 络 里 的 业务 运行 整合 到 统一 的 网 络 资源 池上 来 运行 ， 从 而 实现 网 
络 资源 的 灵活 调度 ， 以 及 数据 安全 和 节能 减 排 。 虚 拟 交换 机 的 网 络 整合 主要 放 在 数据 中 
心 网 络 的 汇聚 层 和 核心 屋 ， 整 合 方式 包括 水 平整 合 、 垂 直 整 合 等 。 

6.3.1.2 虚拟 机 支持 

随 着 服务 需 虚 拟 化 技术 的 成 熟 ， 数 据 中 心 部 署 的 虚拟 化 服务 器 的 数量 越 来 越 多 。 虚 拟 
机 的 出 现 使 数据 中 心服 务 需 网 络 接 和 层 出 现 了 一 个 被 称 为 VEB (Virtual Ethernet Bridge， 
虚拟 以 太 网 桥接 ) 的 网 络 层 。 在 服务 器 上 采用 纯 软 件 方式 实现 的 VEB 就 是 通常 所 说 的 
“VSwitch” (Virtual Switch ， 虚 拟 交 换 机 ) 。 虽 然 VSwitch 的 实现 方式 简单 ， 而 且 技 术 兼 容 
性 好 ， 但 也 面临 着 诸多 问题 ， 例 如 VSwitch 占用 CPU 资源 导致 虚拟 机 性 能 下 降 、 虚 拟 机 流 
量 监管 问题 、 虚 拟 机 的 网 络 策略 实施 问题 以 及 VSwitch 管理 可 扩展 性 问题 。 

为 此 ，IEEE (Institute of Electrical and Electronics Engineers， 电 气 和 电子 工程 师 协 
会 ) DCB (Data Center Bridsging ， 数据 中 心 桥 接 ) IEEE DCB (Data Center Bridging ) 任 
务 组 (DCB 任务 组 是 IEEE 802. 1 工作 组 的 一 个 组 成 部 分 ) 正在 制定 两 个 新 标准 : 
802. 1Qbg 和 802. 1Cbh 。 

目前 这 两 种 标准 都 在 发 展 过 程 中 ， 思 科 设 备 目前 已 经 支持 802. 1Qbh，HP 主导 的 
802. 1Qbg 在 编写 文档 时 还 没有 成 熟 的 产品 。 具 体 如 何 选择 ， 还 需要 跟 进 厂商 和 市 场 的 
发 展 情况 进行 考虑 。 

6.3.1.3 自动 路 由 感知 

面向 云 计 算 的 数据 中 心 ， 虚 拟 服务 器 可 以 在 不 同 的 数据 中 心间 自由 迁移 。 传 统 情况 
下 , 一 个 IP (Internet Protocol， 网 际 协议 ) 地 址 为 A 的 虚拟 服务 器 从 数据 中 心 甲 迁 到 数 
据 中 心 乙 时 ， 客 户 端 访问 A 服务 器 的 数据 包 仍 要 先 抵达 数据 中 心 甲 ， 然 后 通过 甲 、 乙 
之 间 的 链 路 发 送 到 服务 器 上 ， 这 样 数据 包 在 网 络 中 经 过 了 多 次 转发 ， 不 但 增加 了 延 时 ， 
而 且 浪费 了 宝贵 的 网 络 资源 。 在 新 一 代 的 数据 中 心中 ， 采 用 了 新 的 路 由 技术 LISP (Lo- 
catorID Separation Protocol) 来 解决 这 个 问题 。 在 LISP 协议 的 设计 中 ， 我们 在 原 有 的 卫 
包 前 又 封装 了 一 个 IPv4 (Internet Protocol Version4 ， 网 际 协 议 第 4 版 ) 或 IPv6 (Internet 
Protocol Version6 ， 网 际 协 议 第 6 版 ) 包头 作 为 数据 中 心 的 标识 ， 也 就 是 说 当 一 个 服务 器 
发 生 迁 移 时 ，IP 地 址 未 发 生 改 变 ， 但 位 置 标识 做 出 改变 ， 客户 端 可 以 感知 位 置 标 识 的 
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改变 ， 直 接 把 数据 发 给 数据 中 心 ， 避 免 了 上 述 问题 。 

6.3.1.4 自动 资源 供给 
通过 在 虚拟 机 软件 VMware vSphere5. 0 中 安装 负载 均衡 设备 管理 插件 实现 负载 均衡 
设备 和 虚拟 机 的 协作 管理 功能 ， 通 过 负载 均衡 设备 管理 插件 ， 可 以 添加 指定 的 负载 均衡 
设备 ， 并 能 登录 负载 均衡 设备 ， 添 加 负载 均衡 组 员 、 管 理 负载 均衡 组 员 状 态 。 
通过 在 虚拟 机 软件 VMware vSphere5. 0 中 安装 负载 均衡 设备 Icontrol 脚本 实现 自动 
化 运行 ， 简 化 网 络 部 署 、 管 理 和 维护 ， 实 现 无 需 中 断 的 按 需 扩容 ， 进 行 服务 器 虚拟 化 整 
合 ， 使 服务 器 使 用 率 提升 。 











6.3.2 资源 池 网 络 设计 


6.3.2.1 X86 虚拟 资源 池 

逻辑 上 X86 一 CDPA 标准 CDP ( Cloud Deploy Point ， 云 部 署 节点 ) 是 由 三 个 集群 组 
成 的 ， 每 个 集群 是 由 相 邻 机 柜 内 的 16 台 2 路 X86 服务 器 、 一 台 10TB 用 容量 NAS 设备 、 
两 台 千 兆 架 顶 交 换 机 、 两 台 万 兆 架 顶 交 换 机 两 台 万 兆 列 中 交换 机 组 成 的 。 网 络 交换 机 硬 
件 配 置 见 表 6-3。 








表 6-3 网 络 交换 机 硬件 配置 












































类 型 端口 数 端口 类 型 功能 
千 兆 架 顶 交换 机 48 电 口 管理 接 入 
万 兆 架 顶 交换 机 32 电 口 生产 接 入 
万 兆 列 中 交换 机 48 光 口 汇 接 网 络 

1. 机 柜 部 署 

X86-CDP 由 三 个 集群 构成 ， 每 个 集群 包括 16 台 2U 或 4U 高 的 PC 服务 器 和 一 台 双 
控制 器 NAS 设备 。 

一 个 集群 内 16 台 PC 服务 器 部 署 在 两 个 42U 高 的 标准 服务 器 机 柜 中 ， 每 台 服 务 器 











机 柜 内 安装 一 台 万 兆 架 顶 交 换 机 和 一 台 干 兆 架 顶 交 换 机 。 两 台 架 顶 交换 机 均 通 过 宛 余 万 
兆 光纤 上 联 口 连接 到 两 台 列 中 交换 机 。 一 台 NAS 设备 部 署 在 一 台独 立 的 机 柜 中 ，NAS 
设备 的 两 个 控制 器 分 别 通过 万 兆 光 纤 连 接 到 所 属 集群 ESXi 服务 器 上 联 的 列 中 交换 机 。 

2. 服务 器 连接 

构成 X86 一 CDP 一 个 集群 的 两 个 机 柜 内 的 ESXi 共用 架 顶 交换 机 和 列 中 交换 机 ， 每 
台 ESXi 的 第 一 个 万 兆 口 连接 第 一 个 机 柜 的 万 兆 架 顶 交 换 机 ， 第 二 个 万 兆 口 连接 第 二 个 
机 柜 的 万 兆 架 顶 交换 机 ; 每 台 ESXi 的 第 一 个 千 兆 口 连 接 第 一 个 机 柜 的 千 兆 架 顶 交换 机 ， 
第 二 个 千 兆 口 连接 第 二 个 机 柜 内 的 千 兆 架 顶 交换 机 。 对 于 双 口 网 卡 ， 使 用 第 一 个 端口 。 
万 兆 架 顶 交 换 机 和 千 兆 架 顶 交换 机 均 通过 宛 余 的 上 联 链 路 ， 分 别 连接 到 两 台 列 中 交 
换 机 。 
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3. NAS 设备 连接 

X86 一 CDP 每 个 集群 配置 一 台 双 控制 器 NAS 设备 ， 每 个 控制 器 均 通 过 4 条 万 兆 光纤 
链 路 分 别 连接 两 台 列 中 交换 机 ， 每 个 控制 器 到 每 台 交换 机 提供 两 条 千 兆 链 路 。NAS 设 
备 的 管理 接口 ， 分 别 连 接 到 所 属 集 群 内 两 台 安 装 服务 器 机 柜 内 的 千 兆 架 顶 交换 机 。 

6.3.2.2 AIX 虚拟 资源 池 

1. 机 柜 部 署 

逻辑 上 AIX 一 CDP 标准 CDP 是 由 两 个 集群 组 成 的 ， 每 个 集群 由 两 台 P750 或 P780 
组 成 。 网 络 交 换 机 硬件 配置 见 表 6-4。 

表 6-4 网 络 交换 机 硬件 配置 






































类 型 端口 数 端口 类 型 功能 
千 兆 架 顶 交换 机 48 电 口 HMC 连接 
万 兆 架 顶 交换 机 32 光 口 生产 和 管理 网 络 接 入 














1) 每 个 机 柜 安 装 两 台 P750 服务 器 或 P780 服务 器 。 

2) 每 个 机 柜 安 装 一 台 HMC (Hardware Management Console， 人 硬件 管理 台 ) 。 

3) 每 个 机 柜 顶 部 安装 一 台 万 兆 交换 机 。 

4) 每 个 机 柜 顶 部 安装 一 台 千 兆 交 换 机 。 

2. 服务 器 连接 

网 络 线 绕 连接 描述 : 

1) 构成 AIX 一 CDP 标准 CDP 的 4 台 服 务 器 共用 两 个 机 柜 中 的 两 台 万 兆 交 换 机 。 

2) 按照 从 上 到 下 、 从 左 到 右 的 顺序 ， 每 种 功能 的 第 一 块 网 卡 连接 到 A 机 柜 万 兆 交 
换 机 ， 每 种 功能 的 第 二 块 网 卡 连接 到 B 机 柜 万 兆 交 换 机 。 

3) 服务 器 上 HMC 的 第 一 个 网 络 接口 连接 到 第 一 台 千 兆 交换 机 ， 第 二 个 网 络 接口 
连接 到 第 二 台 千 兆 交换 机 。AIX P750 有 两 个 FSP (Flexible Serive Processor， 灵 活 服务 处 
理 器 ) 接口 ，AIX P780 有 四 个 FSP 接口 。 

HMC 的 两 个 网 络 接口 连接 到 同一 机 柜 的 千 兆 交换 机 ， 一 个 网 络 接口 用 于 远程 管理 ， 
另 一 个 接口 用 于 本 地 管理 AIX P750 或 AIX P780 服务 器 。 

6. 3.2.3 HP 物理 资源 池 

1. 机 柜 部 署 

HP 物理 资源 池 一 CDP 由 一 个 集群 构成 ， 每 个 集群 包括 两 台 HP Rx9900 10U 高 刀片 
服务 器 。 

按照 位 于 低 密 区 机 柜 电 量 、 重 量 和 散热 的 要 求 ， 结 合 HP Rx9900 (64 个 CPU， 
512GB 磁盘 空间 ) 满 配 电量 、 重 量 和 散热 等 物理 指标 。 制 定 机 柜 的 低 密 区 设计 规范 
如 下 : 

1) 一 个 CDP 设备 中 的 两 个 C7000 机 箱 分 别 位 于 两 个 相 邻 部 署 的 机 柜 中 ， 这 样 便于 
维护 及 网 络 接 入 。 
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2) 每 个 物理 机 柜 放 置 一 个 满 配 Rx9900， 包 括 一 个 C7000 机 箱 和 两 个 BL890c i4。 

3) 每 个 物理 机 柜 放 置 一 个 48 口 (及 以 上 ) 千 兆 电 口 交换 机 ， 用 于 本 机 柜 和 同一 
CDP 设备 中 男 一 机 柜 的 生产 、 心 跳 网 络 连接 ， 以 及 OA ( Onboard Administrator， 板 载 管 
理 ) 接口 的 连接 。 

4) 每 个 物理 机 柜 放 置 一 个 16 口 (及 以 上 ) 万 兆 光 口交 换 机 ， 用 于 带 外 管理 网 络 
连接 。 

2. 服务 器 背 板 连接 

HP 物理 机 资源 池 一 CDP 包括 两 台 Rx9900i4 、 两 台 万 兆 列 中 交换 机 、 两 台 万 兆 架 顶 
交换 机 和 两 台 千 兆 架 顶 交 换 机 组 成 。 

一 台 HP 小 型 机 服务 器 接口 分 为 生产 、 心 跳 和 管理 三 大 类 ， 每 类 接口 有 16 个 ， 其 
中 管理 类 接口 采用 万 兆 光 口 网 卡 ， 心 跳 、 管 理 采 用 千 兆 电 口 网 卡 。 此 外 ， 每 台 HP 小 型 
机 还 有 两 个 OA 接口 ， 采 用 千 兆 电 口 网 卡 。 因 此 一 个 CDP HP 小 型 机 (2 台 ) 共 使 用 32 
个 万 兆 光 口 ，68 个 千 兆 电 口 (64 个 生产 、 心 跳 接口 ，4 个 OA 管理 接口 ) 。 








6.3.3 数据 中 心 网 络 设计 


6.3.3.1 设计 原则 

数据 中 心 是 银行 基础 设施 的 最 重要 部 分 ， 同 时 数据 中 心 网 络 接 入 组 件 是 数据 中 心 所 
有 系统 服务 得 以 互联 互通 和 对 外 发 布 的 重要 支撑 。 为 了 能 够 满足 长 期 科技 规划 和 网 络 规 
划 的 要 求 及 数据 中 心 网 络 接 入 组 件 的 设计 需求 ， 在 数据 中 心 网 络 接 入 组 件 设 计时 应 遵从 
以 下 设计 原则 : 

1) 先进 性 : 能 够 满足 未 来 业务 开展 的 需求 ， 网 络 结构 具备 较 强 的 弹性 。 

2) 灵活 性 : 满足 应 用 系统 灵活 多 变 的 部 署 需求 。 

3) 高 可 用 性 : 不 因为 任何 一 个 网 络 模块 发 生 故 障 而 影响 全 局 网 络 的 畅通 。 

4) 可 管理 性 : 网 络 简单 、 健 壮 ， 易 于 管理 和 维护 ， 保 障 安全 运行 。 

5) 规范 性 : 遵循 各 类 安全 、 网 络 规范 。 

6) 标准 的 开放 性 : 支持 国际 上 通用 标准 的 网 络 协议 ， 有 利于 保证 与 其 他 数据 中 心 
之 间 的 平滑 连接 互通 ， 以 及 将 来 网 络 的 扩展 。 

7) 简单 实用 性 : 采用 先进 、 合 理 、 实 用 的 技术 方案 ,满足 网 络 的 简单 化 和 标准 化 
管理 。 

在 数据 中 心 内 ， 由 于 管理 和 应 用 的 要 求 ， 所 以 需要 划分 多 个 区 域 。 这 与 未 来 云 计算 
的 需求 有 所 了 矛盾， 因此 区 域 划 分 需要 平衡 这 种 了 矛盾， 在 数据 中 心 内 需要 重点 考虑 如 何 实 
现 逻 辑 区 域 和 物理 区 域 的 隔离 ， 即 非 一 一 对 应 的 关系 。 依 据 应 用 系统 的 要 求 ， 数 据 中 心 
网 络 逻 辑 区 域 划分 需要 考虑 如 下 原则 . 

1) 根据 安全 架构 ， 不 同安 全 等 级 的 网 络 区 域 归 属 不 同 的 逻辑 区 域 。 

2) 不 同 功 能 的 网 络 区 域 归 属 不 同 的 逻辑 区 域 。 

3) 承载 不 同 应 用 架构 的 网 络 区 域 归属 不 同 的 逻辑 区 域 。 
































151 


| 商业 银行 私有 云 设 计 与 实现 


4) 区 域 总 量 不宜 过 多 ， 各 区 域 之 间 保 持 松 耦合 。 

6.3.3.2 网 络 区 域 划 分 

根据 以 上 原则 ， 网 络 的 逻辑 区 域 划分 为 外 网 区 和 内 网 区 。 

1) 外 网 区 : 外 网 区 根据 功能 的 不 同 可 划分 为 互联 网 ( Intermet) 和 外 联网 (Extra- 
net) 两 个 区 域 。 这 两 个 区 域 部 署 对 外 服务 的 应 用 系统 ， 互 联网 提供 互联 网 客户 的 访问 ， 
部 署 网 银 、 网 站 、 电 商 、 学 习 环境 等 互联 网 业务 ; 外 联网 提供 第 三 方 机 构 及 大 客户 的 访 
问 ， 部 署 外 联 、 托 管 等 业务 。 

2) 内 网 区 : 内 网 区 根据 功能 的 不 同 划 分 为 网 络 功能 区 、 服 务 器 接 入 区 和 带 外 管 
理 区 。 

G@) 网 络 功能 区 : 无 服务 器 部 署 ， 根 据 功 能 不 同 划分 为 核心 区 和 广域网 区 两 个 子 区 
域 。 核 心 区 提供 各 个 模块 间 的 高 速 转发 功能 ， 广 域 网 区 负责 数据 中 心 与 全 行 网 络 的 互联 
互通 。 

@) 服务 器 接 和 人 区 : 负责 银行 应 用 服务 器 的 部 署 ， 根 据 功 能 的 不 同 ， 可 分 为 主机 接 
和 人 区 和 开放 服务 区 两 个 子 区 域 。 主 机 接 和 人 区 提供 封闭 式 大 型 机 的 接 人 和 人 环境。 开放 服务 区 
提供 开放 服务 器 的 接 和 环境。 在 开放 服务 区 ， 根 据 不 同 的 应 用 架构 进行 区 域 细 分 ， 即 普 
通 开放 服务 区 、 网 管 安 全 区 、 存 储 区 和 语音 区 。 

@) 带 外 管理 区 : 这 是 个 特殊 功能 区 域 , 负责 服务 器 和 网 络 设备 的 带 外 组 网 和 
KVM/CONSOLEAHMC 的 组 网 。 

数据 中 心 网 络 逻 辑 架 构 如 图 6-2 所 示 。 





< 
| 


BS 人 
外 联机 构 





























图 6-2 ”数据 中 心 网 络 逻辑 架构 
1. 核心 区 
大 楼 核心 区 提供 楼 内 各 汇聚 间 的 转发 功能 。 大 楼 核心 的 设计 考虑 高 性 能 、 高 元 余 ， 
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并 需要 考虑 网 络 运 维 的 松 耦合 。 

在 数据 中 心 ， 考 虑 到 如 下 两 个 主要 因素 ， 对 每 栋 大 楼 应 设计 独立 的 核心 交换 机 。 

1) 每 栋 大 楼 采用 独立 的 核心 交换 机 ， 架构 清晰 ， 故 障 能 有 效 隔 离 ， 运 维 松 厢 合 ， 
且 端 口 资源 充足 ， 扩 展 能 力 高 ， 性 能 得 以 保证 。 对 于 未 来 的 迁移 工作 比较 容易 进行 ， 每 
个 以 建筑 物 为 单位 的 改造 、 搬 迁 等 动作 对 其 他 建筑 物 没有 影响 ， 而 且 从 系统 上 线 步骤 来 
看 ， 初 期 不 会 全 部 部 署 ， 分 步骤 开启 不 同 的 建筑 ， 对 于 节约 能 源 是 合理 的 选择 。 

2) 假如 三 栋 大 楼 中 有 一 个 核心 ， 从 宛 余 角 度 考 虑 ， 核 心 至 少 分 布 在 两 个 不 同 建筑 
物 中 。 在 布线 上 ， 则 需要 三 栋 大 楼 作为 一 个 整体 的 TIA-942 模型 来 考虑 。 汇 聚 交换 机 到 
核心 交换 机 互联 需要 大 量 的 光纤 资源 ， 由 于 汇聚 交换 机 到 核心 交换 机 之 间 至 少 为 万 兆 链 
路 ， 长 距离 的 万 兆 链 路 需要 单 模 模 块 和 光纤 支持 ， 扩 展 能 力 受 到 限制 。 如 果 将 来 汇聚 到 
核心 交换 机 有 需求 ， 高 速率 单 模 模 块 的 成 本 会 很 高 。 

因此 设计 每 栋 大 楼 有 独立 的 大 楼 核心 交换 机 ， 大 楼 核心 由 四 台 交 换 机 组 成 ， 每 个 汇 
聚 交 换 机 均 与 大 楼 的 每 个 核心 交换 机 互联 。 在 这 样 的 设计 下 ， 每 个 汇聚 交换 机 与 其 他 汇 
聚 交 换 机 之 间 有 多 条 等 价 转发 路 径 ， 路 径 数 量 等 于 核心 设备 的 数量 。 单 台 交 换 机 的 维 
护 、 宕 机 均 不 会 对 网 络 造 成 中 断 影响 。 

2. 广域网 区 

广域网 区 负责 将 数据 中 心 与 数据 中 心 之 间 互 联 ， 数 据 中 心 通过 核心 网 与 各 分 行 、 各 
业务 中 心 之 间 互 联 互 通 。 

广域网 区 采用 核心 ， 接 入 两 层 设 计 ， 广 域 网 的 核心 即 为 大 楼 核心 ， 接 入 两 台 高 端 交 
换 机 。 广 域 网 的 列 中 交换 机 是 与 核心 网 对 接 的 CE (Customer Edge， 用 户 网 络 边缘 ) 设 
备 ， 运 行 BGP (Border Gateway Protocol， 边界 网 关 协 议 )， 并 和 核心 交换 机 之 间 运 行 
OSPF (Open Shortest Path First， 开 放 式 最 短路 径 优 先 ) 路 由 协议 ， 执 行路 由 的 重 分 发 
策略 。 

此 外 , 广域网 的 列 中 交换 机 还 负责 数据 中 心 之 间 的 互联 ， 数 据 中心 的 三 栋 大 楼 互联 
是 通过 三 栋 大 楼 的 广域网 区 列 中 交换 机 形成 一 个 环形 网 络 来 实现 的 。 

3. 外 联网 区 

外 联网 区 负责 完成 所 有 外 部 机 构 的 接 入 和 服务 需 托 管 功 能 。 外 联网 区 汇聚 与 核心 的 
互联 采用 开放 服务 区 一 致 的 方式 ， 汇 聚 层 采用 SIA (Service Insertion Architecture ， 服 务 
插入 架构 ) 。 外 联 区 内 部 网 络 保持 现 有 的 结构 。 

在 分 行 外 联 区 与 三 个 数据 中 心 的 外 联 区 新 建 “ 核 心 网 接 入 区 ”; 此 区 内 新 增 两 台 交 
换 机 ， 上 联 核心 网 。 在 核心 网 内 建立 “外 联网 VPN”， 用 于 分 行 外 联 区 与 总 行 外 联 区 互 
通 。 本 VPN 只 有 分 行 外 联 区 和 三 个 数据 中 心 的 外 联 区 的 路 由 。 分 行 外 联 单位 若 要 访问 
总 行 外 联 区 ， 必 须 经 过 网 络 地 址 转换 后 才能 进入 核心 网 。 外 联 区 防火 墙 负责 安全 级 别 以 
及 区 域 间 的 访问 控制 。 

4. 互联 网 区 

数据 中 心 互联 网 区 逻辑 结构 计划 分 为 四 个 区 域 ,分别 为 互联 网 接 入 区 域 、 核 心 区 
域 、 汇 聚 区 域 和 服务 器 接 入 区 域 ， 如 图 6-3 所 示 。 
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汇聚 区 域 1 汇聚 区 域 n 
服务 器 接 入 区 域 1 服务 器 接 入 区 域 n 


图 6-3 数据 中 心 网 络 互 联网 区 逻辑 架构 


各 区 域 的 作用 如 下 : 

1) 核心 区 域 : 是 整个 互联 网 区 的 核心 ;作为 核心 节点 对 各 区 域 进 行 连通 ， 并 对 数 
据 进 行 高 速 转发 。 

2) 互联 网 接 和 人 区 域 : 实现 互联 网 区 域 与 运营 商 的 互联 互通 ， 是 互联 网 用 户 访问 中 
国 建设 银行 的 入 口 ， 执 行 域名 解析 、 路 由 选择 、 流 量 清洗 等 职能 ; 它 是 阻止 互联 网 攻击 
的 第 一 道 防线 。 

3) 汇聚 区 域 : 连接 核心 区 域 与 多 个 服务 器 接 和 区域 之 间 的 中 间 区 域 ; 根据 制定 的 
策略 对 区 域 间 互 访 的 流量 进行 控制 。 

4) 服务 器 接 人 区 域 : 连接 服务 器 的 区 域 ， 负 责 对 用 户 提 供 相 关 的 访问 资源 。 

5. 开放 服务 区 〈 见 图 6-4) 

开放 服务 区 负责 开放 系统 的 接 人 和 网 络 服务 功能 。 开 放 服 务 区 采用 三 层 设 计 ， 核 心 
为 大 楼 的 核心 ， 汇 聚 层 采用 两 台 高 端 交换 机 ， 接 入 设备 应 根据 布线 方式 或 服务 器 密度 进 
行 选 择 。 
开放 服务 区 是 数据 中 心服 务 器 接 入 数量 最 大 的 区 域 ， 设 计时 可 按 物 理 机 房 划 分 汇 
聚 ， 而 且 支 持 全 部 服务 器 接 人 人。 该 区 域 设 计时 考虑 了 集中 实现 基础 设施 云 的 理念 ， 可 以 
实现 动态 、 自 动 化 的 资源 供给 。 网 络 设计 既 要 具备 二 层 扩 展 能 力 和 虚拟 机 感知 能 力 ， 也 
要 兼顾 考虑 机 房 物理 属性 的 特征 ， 完 成 物理 视图 向 逻辑 视图 的 转变 ， 实 现 物理 视图 的 标 
准 化 程度 提高 和 逻辑 视图 的 清晰 明确 。 

开放 服务 区 的 综合 布线 和 接 入 设备 可 根据 机 房 类 型 进行 选择 ， 如 高 密 、 普 密 机 
房 ， 应 采用 架 顶 模式 部 署 ， 采用 支持 板 卡 延伸 技术 或 多 对 一 虚拟 技术 的 1U 交换 机 。 
如 低 密 机 房 ， 则 采用 列 头 、 列 中 模式 部 署 ， 采 用 高 密度 的 模块 化 交换 机 。 对 于 接 和 人 
设备 来 说 ， 需 要 支持 多 对 一 虚拟 化 或 板 卡 延伸 简化 管理 、 虚 拟 机 感知 (支持 全 部 或 
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到 6-4 ”开放 服务 区 


至 少 两 种 如 下 协议 : 802. 1Q 、802. 1Qbg 和 802. 1Qbh) 、 具 备 较 低 的 上 行 收 钱 比 或 有 
较 好 的 扩容 能 力 。 接 人 设备 负责 服务 器 的 生产 、 带 外 、NAS 接 入 ,与 汇聚 设备 通过 
互联 网 中 继 模 式 互联 。 

POD 接 和 人 通常 采用 几 种 模型 接 和 人 方式， 根据 需求 不 同 使 用 不 同 的 模型 ; 

1) 每 台 机 柜 使 用 架 顶 交换 机 连接 到 列 中 柜 列 中 交换 机 ， 再 通过 列 中 交换 机 连接 到 
汇聚 交换 机 最 终 连接 到 大 楼 核心 交换 机 。 以 NEXUS 系列 交换 机 为 例 ， 架 顶 采用 NEX- 
US2000 ， 列 中 交换 机 采用 NEXUS5000， 汇 聚 交 换 机 和 核心 交换 机 采用 NEXUS7000 交 
换 机 。 

2) 几 台 机 柜 共 用 架 顶 交换 机 连接 到 列 中 交换 机 ， 表 通过 列 中 交换 机 连接 到 汇聚 交 
换 机 ， 最 终 连接 到 大 楼 核心 交换 机 。 

3) 架 顶 交换 机 直接 使 用 NEXUS5000 交换 机 ， 再 通过 列 中 交换 机 连接 到 汇聚 交换 
机 最 终 连接 到 大 楼 核心 交换 机 。 

6. 存储 区 

服务 器 连接 NAS 时 可 采用 两 种 模式 : 其 一 是 对 NAS 流量 较 小 的 服务 器 ， 采 用 与 生 
产 公用 网 卡 接 和 网络; 其 二 是 对 NAS 流量 较 大 的 服务 器 ， 为 避免 NAS 流量 对 生产 流量 
产生 影响 ， 采 用 单独 的 NAS 网 卡 接 和 人 网络， 为 NAS 网 卡 分 配 单独 的 下 地址， 与 NAS 
机 头 三 层 路 由 互通 。 

由 于 NAS 需要 为 所 有 的 业务 系统 提供 服务 ， 所 以 NAS 建议 采用 分 布 式 部 署 ， 即 在 
每 个 大 楼 均 部 署 NAS 区 ， 每 个 楼 的 NAS 区 为 本 楼 的 业务 系统 提供 服务 。 在 网 络 上 ， 每 
栋 大 楼 提供 单独 的 NAS 网 络 汇聚 区 ，NAS 汇聚 区 直接 与 核心 交换 机 采用 多 个 万 兆 甚 至 
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四 万 兆 或 千 万 兆 链 路 互联 ， 与 其 他 汇聚 区 通过 核心 区 提供 的 ECMP ( Equal-Cost Mul- 
tiPath， 等 价 多 路 径 ) 互联 互通 ， 实 现 高 吞吐 率 的 需求 。 在 NAS 的 部 署 上 应 考虑 物理 布 
局 因素 ， 尽 量 避 免 NAS 跨 楼 为 服务 器 提供 存储 服务 ， 降 低 跨 大 楼 核心 的 NAS 传输 量 。 

7. 语音 区 

语音 区 可 提供 呼叫 中 心 系统 语 音 呼 人、 呼出 业务 功能 。 该 区 域 采 用 开放 服务 区 一 致 
的 网 络 架构 ， 由 于 语音 流 对 延 时 人 敏感， 设计 该 区 域 的 防火 墙 仅 对 语音 控制 流 进行 安全 策 
略 的 控制 。 

1) 机 房 1 层 作 为 语音 区 运营 商 线 路 接 入 。 

2) 机 房 2 层 部 署 语 音 区 运营 商 线 路 接 入 语音 设备 、 语 音 区 网 络 列 中 交换 机 、 语 音 
区 汇聚 交换 机 。 

3) 机 房 3 层 部 署 语音 区 语音 设备 、 语 音 区 网 络 列 中 交换 机 。 

QD 语音 区 设备 采用 高 可 靠 性 配置 ， 多 条 线路 多 资源 备份 ， 双 电源 双 引 苟 网 络 设备 ， 
实现 稳定 运行 。 

@) 语音 区 均 分 为 控制 网 络 (私有 网 段 ) 与 生产 网 络 (生产 网 段 )， 分 别 接 入 网 络 
交换 机 ， 实 现 物理 隔离 ， 以 提高 语音 设备 接 入 的 可 靠 性 。 语 音 区 设备 通过 语音 区 列 中 交 
换 机 ， 上 联 至 楼 层 汇聚 交换 机 ， 至 大 楼 核心 交换 机 ， 再 与 数据 中 心 相关 系统 、 各 分 行 远 
端 媒体 网 关 、 座 席 中 心 了 话机 互联 互通 。 

灾 备 切换 模式 需要 与 应 用 一 并 考虑 ， 语 音 区 在 中 继 集 中 接 入 的 前 提 下 ， 可 以 通过 运 
营 商 路 由 策略 实现 客户 进 线 在 数据 中 心间 互 转 。 

8. 网 管 安 管区 

网 管 安 管区 用 于 部 署 网 络 管理 、 安 全 管理 、 系 统管 理应 用 ， 提 供 全 管理 的 工具 和 
平台 ， 独 立成 区 。 网 管 安 管区 的 网 络 架 构 与 开放 服务 区 的 网 络 架 构 一 致 。 

9. 带 外 管理 区 

数据 中 心 的 带 外 管理 网 包含 服务 器 和 网 络 设备 的 传统 带 外 管理 和 各 类 其 他 设备 管理 
接口 接 和 功能。 整体 上 带 外 管理 网 与 生产 网 独立 ， 采 用 独立 的 网 络 核心 连接 各 个 汇聚 
区 ; 同时 采用 独立 的 骨干 网 络 连 接 到 其 他 等 地 数据 中 心 实现 远程 管理 。 

为 确保 在 服务 器 带 外 管理 网 出 现 故障 时 ，KVM (Keyboard、Video、Mouse， 键 盘 、 
显示 器 、 鼠 标 ) 管理 网 络 能 正常 应 急 。 在 设计 中 ， 尽 可 能 地 提高 服务 器 带 外 管理 网 和 
KVM 管理 网 络 的 独立 性 。 考 虑 分 属 不 同 的 二 层 网 络 ， 通 过 路 由 互通 ， 网 络 层面 松 耦 合 。 
带 外 管理 区 架构 如 图 6-5 所 示 。 

带 外 的 接 入 网 络 分 为 三 类 设计 、 

1) 服务 器 带 外 网 卡 接 和 人 : 服务 器 的 带 外 网 卡 和 生产 网 卡 实现 统一 接 和 人 人 ， 减 少 接 入 
网 的 组 网 数量 。 服 务 器 的 带 外 在 生产 的 汇聚 上 终结 ， 通 过 划分 VRF (Virtual Routing and 
Forwarding， 虚 拟 路 由 转发 ) 方式 确保 与 生产 网 络 相隔 离 。 汇 聚 上 的 VRF 连接 带 外 核心 
交换 机 。 

2) 网 络 设备 带 外 MGT 接 人 : 在 每 个 生产 的 汇聚 交换 机 机 柜 内 安放 网 络 设备 带 外 的 
列 中 交换 机 实现 本 汇聚 网 络 设备 的 带 外 管理 接 入 。 根 据 规模 ， 可 以 考虑 一 栋 楼 只 设置 一 
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图 6-5 ”人 带 外 管理 区 架构 











个 网 络 设备 的 带 外 汇聚 ， 在 综合 布线 的 MDA、IDA、HDA 区 均 放 置 1 ~ 2 个 盒 式 交换 机 
负责 网 络 设备 的 接 入 。 

3) 各 类 其 他 设备 接 和 人 : 在 新 的 数据 中 心 ， 在 每 个 POD 放置 服务 器 的 各 类 其 他 设备 
列 中 交换 机 ， 同 时 也 承担 网 络 设备 的 CMP/KVM 接 入 。 如 采用 CMP 接 入 的 数量 规模 较 
大 ,可 考虑 每 个 楼 层 设置 一 个 汇聚 。 

各 类 其 他 设备 与 带 外 共享 核心 交换 机 ,但 采用 独立 的 汇聚 ， 三 层 隔离 避免 了 二 层 潜 
在 的 环 路 或 广播 风暴 风险 对 彼此 的 影响 ， 提 高 了 管理 通道 的 高 可 靠 性 。 同 时 ， 也 可 以 根 
据 需要 进行 安全 策略 的 部 署 。 

采用 CMP 接 和 需要 综合 布线 进行 统一 考虑 ， 建 议 在 每 列 采用 列 头 柜 汇 集 本 列 的 
CMP 接 入 ， 列 头 柜 采 用 铜 缆 布 线 到 各 个 机 柜 ， 在 列 头 柜 部 署 1 ~ 2 台 盒 式 交 换 机 提供 
CMP 的 接 入 。 











6.4 存储 资源 规划 设计 


6. 4.1 存储 服务 级 别 设计 


1. SAN (Storage Area Network ， 存 储 区 域 网 络 ) 服务 级 别 协议 
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SAN 存储 服务 级 别 分 为 SAN 白金 级 服务 、SAN 金 级 服务 和 SAN 银 级 服务 ， 见 表 6-5。 
表 6-5 SAN 存储 服务 级 别 协议 




























































































部 署 单元 SAN 白金 级 SAN 金 级 SAN 银 级 
(高 可 用 性 .高 + 性 能 ) (高 可 用 性 、 高 性 能 ) (中 可 用 性 、 中 性 能 
可 用 性 99. 999% (5.3 分 钟 /年 ) 99. 999% (5. 3 分 钟 /年 ) 99. 99% (53 分 钟 /年 ) 
响应 时 间 < Sms 响应 时 间 < 8ms 响应 时 间 < 10ms 
性 能 IOPS 5000 + IOPS 3500 + IOPS 2000 + 
吞吐 量 2000MB/s + 吞吐 量 2000MB/s + 吞吐 量 1500MB/s+ 
可 扩展 性 扩展 方式 : 整 台 存储 扩容 扩展 方式 : 整 台 存储 扩容 扩展 方式 : 整 台 存储 扩容 
扩容 能 力 :最 大 290TB 裸 容 量 扩容 能 力 :最 大 290TB 裸 容 量 扩容 能 力 :最 大 240TB 裸 容量 











2. NAS (Network Attached storage， 网 络 附加 存储 ) 服务 级 别 协议 
NAS 存储 服务 级 别 分 为 NAS 白金 级 服务 、NAS 银 级 服务 和 NAS 铜 级 服务 ， 见 表 
6-6。 


表 6-6 NAS 服务 级 别 协议 































































































部 署 单元 NAS 白金 级 NAS 银 级 NAS 铜 级 
(高 可 用 性 、 高 + 性 能 ) (中 可 用 性 .中 性 能 (中 可 用 性 、 低 性 能 
可 用 性 99. 999% (5.3 分 钟 /年 ) 99. 99% (53 分 钟 /年 ) 99.95% (4.4 小 时 /年 ) 
响应 时 间 < 5ms 响应 时 间 < 10ms 响应 时 间 < 12ms 
性 能 IOPS 5000 + IOPS 2000 + IOPS 1000 + 
否 吐 量 2000MB/s + 否 吐 量 1500MB/s + 否 吐 量 1000MB/s + 
扩展 方式 :横向 扩容 扩展 方式 :横向 扩容 
扩展 方式 : 整 台 存 储 扩容 et 
可 扩展 性 nt 0 扩容 能 力 :最 大 3000TB(600GB 扩容 能 力 :最 大 10000TB 
EI: 取 分 里 > 田汉 时 > > 田 os 上 
磁盘 ) 裸 容量 (2TB 磁盘 ) 裸 容量 


6.4.2 存储 资源 池 设 计 


根据 服务 目录 设计 ， 资 源 池 将 采用 与 服务 级 别 一 一 对 应 的 设计 ， 共 分 为 6 个 资源 
池 ， 其 中 NAS 资源 池 有 3 个 : NAS- 白 金 资 源 池 、NAS- 银 资源 池 和 NAS- 铜 资源 池 ; 
SAN 资源 池 有 3 个 : SAN- 白 金 资 源 池 、SAN- 金 资源 池 和 SAN- 银 资源 池 。 

1. SAN 资源 池 


(1) SAN 资源 池 的 构建 方式 〈 见 表 6-7) 
表 6-7 SAN 资源 池 的 构建 方式 













































































部 署 单元 SAN 白金 级 SAN 金 级 SAN 银 级 
ee (高 可 用 性 、 高 + 性 能 ) (高 可 用 性 、 高 性 能 ) (中 可 用 性 ,中 性 能 
两 个 构建 单元 之 间 做 镜像 , 作 | ”两 个 构建 单元 之 间 做 镜像 , 作 | jr pm ws 
资源 池 | 为 基本 单元 ,资源 池 由 多 个 基本 | 为 基本 单元 ,资源 池 由 多 个 基本 Rl 
于 ee 池 由 多 台 存 储 构成 
单元 构成 单元 构成 
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(2) SAN 资源 池 的 详细 定义 〈 见 表 6-8) 
表 6-8 SAN 资源 池 的 详细 定义 


















































SAN 资源 池 资源 池 分 类 定义 
SAN-Platinum- A 台 设 备 之 间 做 数据 保护 ,资源 } 个 
SAN 白金 级 atinum 两 台 设 备 之 间 改 数据 保护 ,资源 池 由 多 人 
SAN-Platinum-B 基本 单元 构成 
SAN- Cold-A 台 设 备 之 间 做 数据 保护 ,资源 池 由 多 个 
SAN 金 级 两 台 设 备 之 间 数 数 据 保护 ,资源 池 由 多 人 
SAN- Gold-B 基本 单元 构成 
SAN-Silver-A 单 台 设备 独立 使 用 
SAN 银 级 
SAN-Silver-B 单 台 设 备 独立 使 用 











2. NAS 资源 池 
(1) NAS 资源 池 的 构建 方式 ( 见 表 6-9) 
表 6-9 NAS 资源 池 的 构建 方式 



































部 署 单元 NAS 白金 级 NAS 银 级 NAS 铜 级 
ee (高 可 用 性 、 高 + 性 能 ) (中 可 用 性 .中 性 能 ) (中 可 用 性 、 低 性 能 


























二 | 几 让 末 到 人 | 1 台 存储 作为 基本 单元 ,资源 | 1 台 存 储 作为 基本 单元 ,资源 
II 池 由 多 台 存储 器 构成 池 直 多 台 存储 器 构成 


























(2) NAS 资源 池 的 详细 定义 〈 见 表 6-10) 
表 6-10 NAS 资源 池 的 详细 定义 



































NAS 资源 池 资源 池 分 类 定义 
NAS-Platinum- A 内 部 数据 保护 
NAS 白金 级 
NAS-Platinum-B 内 部 数据 保护 
NAS-Silver-A 金 级 集群 模式 
NAS 金 级 
NAS-Silver-B 发 群 模 寺 
NAS- Copper-A 银 级 集群 模子 
NAS 银 级 
NAS-Copper-B 集群 模子 














6. 4.3 存储 服务 级 别 使 用 


6. 4.3.1 存储 服务 级 别 决策 

存储 服务 决策 流程 是 依据 存储 服务 目录 和 资源 池 配 置 规范 ， 为 应 用 数据 选择 合适 的 
存储 服务 级 别 。 存 储 服务 决策 流程 分 为 数据 可 用 性 决策 流程 、 数 据 性 能 决策 流程 和 服务 
级 别 决策 流程 。 

1. 数据 可 用 性 决策 流程 

应 用 按照 重要 级 别 进行 划分 ， 每 个 级 别 内 不 同 数 据 的 可 用 性 要 求 有 很 大 差异 。 本 文 将 参 
考 应 用 级 别 ， 把 数据 可 用 性 作为 存储 服务 的 输入 条 件 ， 详 细 的 数据 可 用 性 分 析 见 表 6-11。 
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表 6-11 数据 可 用 性 分 析 










































































数据 类 型 
数据 可 用 性 ee 
生产 数据 应 条 数据 历史 数据 2 归档 数据 
数据 
应 用 级 别 
A 二 高 中 中 中 低 
A 高 中 中 中 低 
B 高 i 中 中 低 
C 中 a 中 低 
2. 数据 性 能 决策 流程 
应 用 对 I0 的 性 能 需求 可 分 为 四 个 级 别 ， 即 高 +、 高 、 中 和 低 。 响 应 时 间 ( Re- 


sponse Time) 、IOPS、MBPS (Million Bytes Per Second， 兆 比特 每 秒 ) 取 最 高 值 ， 作 为 性 
能 级 别 。 例 如 ，A 应 用 数据 对 IO 的 响应 时 间 要 求 为 Sms，IOPS 和 MBPS 要 求 都 很 高 ， 
性 能 级 别 应 判断 为 高 + ; B 应 用 数据 对 IO 的 响应 时 间 要 求 为 10ms，IOPS 要 求 为 2000 
次 ，MBPS 要 求 为 1500MB/s， 性 能 级 别 应 判断 为 中 。 数 据 性 能 要 求 见 表 6-12。 

表 6-12 ”数据 性 能 要 求 























性 能 级 别 高 + 高 中 低 
Response Time/ ms <5 <8 <10 <12 

IOPS/ 次 5000 + 3500 ~S000 2000 ~S000 1000 ~ 2000 

MBPS/ 次 2000 + 2000 + 1500 + 1000 + 


3. 存储 服务 级 别 决策 流程 

应 用 数据 使 用 方式 可 分 为 数据 库 和 文件 两 种 。 数 据 库 的 特点 是 数据 以 块 的 形式 存 
在 ，LO 块 小 、 随 机 访问 、IOPS 高 、MBPS 低 等 ， 适 合 SAN 存储 ; 文件 的 特点 是 数据 以 
文件 形式 存在 ， 多 台 服 务 器 共享 相同 的 文件 数 ，LO 块 大 、 顺 序 访 问 、IOPS 低 、MBPS 
高 等 ， 适 合 NAS。 

根据 数据 访问 形式 的 不 同 ， 存 储 服务 目录 采用 的 NAS 和 SAN 两 类 技术 分 别 对 应 数 
据 库 和 文件 。 可 用 性 级 别 和 性 能 级 别 组 成 与 服务 目录 的 对 应 关系 见 表 6-13。 

表 6-13 ”可 用 性 级 别 和 性 能 级 别 组 成 与 服务 目录 的 对 应 关系 





















































级 刚 级 刚 
0 可 用 性 级 别 | 。 性 能 级 别 0 可 用 性 级 别 | 性 能 级 别 
白金 -SAN 高 高 + 白金 -NAS 高 高 + 
金 -SAN 高 高 银 -NAS 中 中 
银 -SAN 中 中 铜 - NAS 低 低 























6. 4. 3.2 性 能 规划 
应 用 数据 选择 了 合适 的 服务 级 别 后 ， 下 一 步 要 规划 数据 如 何在 存储 上 摆 放 ， 才 能 
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效 利用 存储 空间 、 发 挥 更 好 的 性 能 。 

1. 资源 池 性 能 规划 原则 

应 急 存 储 与 生产 存储 应 保持 相当 的 性 能 水 平 ， 比 如 同样 为 HDS 公司 的 VSP 或 EMC 
公司 的 VMAX。 应 急 存 储 上 可 以 同时 部 署 多 个 应 急 库 ， 应 用 的 数据 应 尽量 分 散 到 所 有 磁 
盘 上 ， 应 急 库 同时 运行 的 性 能 指标 可 以 高 于 存储 的 最 大 能 力 。 例 如 ， 当 应 急 存储 部 署 3 
个 应 用 ， 且 同时 运行 时 ， 响 应 时 间 可 以 达到 小 于 5ms 的 级 别 ， 考 虑 大 多 数 应 急 库 平时 
处 于 空闲 状态 ， 这 台 存 储 可 以 再 部 署 3 个 应 用 。 

有 明显 增长 周期 的 应 用 ， 应 为 应 用 预 留 相 应 的 存储 空间 ， 满 足 其 扩容 需求 ， 比 如 柜 
面 业务 集 中 处 理 系统 存在 明确 的 推广 周期 ， 在 存储 规划 时 就 应 该 预 留 全 行 推广 的 容量 和 
性 能 需要 。 

2. 存储 设备 性 能 基线 

根据 存储 设备 自身 的 性 能 指标 数据 ， 结 合生 产 运 行 的 实践 数据 ， 建 行 形成 了 一 套 可 
操作 的 性 能 指标 体系 ， 分 为 相对 值 指标 和 绝对 值 指 标 。 规 划 时 ， 要 确保 应 用 部 署 到 存储 
后 ， 相 对 性 指标 运行 在 “可 接受 值 ” 范 围 内 。 

采用 中 位 数 性 能 指标 作为 性 能 判断 标准 。 存 储 性 能 判断 标准 见 表 6-14。 

表 6-14 存储 性 能 判断 标准 













































































































































































指标 本 适应 存 
示 参 类 参数 描述 受 正常 
类 型 指标 参数 参数 描述 良好 值 可 接受 值 | 非 正 常 值 储 类 型 
前 端 端 口 处 理 器 a 
CHP Busy( % ) <50 50 ~70 >70 高 端 
利用 率 
Controlle 空 甫 EF 理 咽 和 、 
ontroller 控制 器 处 器 利 <50 50 ~70 >70 中 端 
Utilization( % ) 率 
Cache Write 待 写 IO 占 Cache 二 
相对 值 <30 30 ~40 >40 中 高 端 
es Pending( % ) 的 比例 
指标 
Read Hit Rate( % ) 内 存 中 读 命 中 率 >95 90 ~95 <90 中 高 端 
BED utilization( % ) 后 端 控制 器 利用 率 <50 50 ~70 >70 高 端 
RAID G 后 端 磁盘 组 的 乔 ey 
Dn a 0 <50 50 ~70 >70 中 高 端 
Utilization( % ) 深 
LDEV Response 逻辑 设备 响应 时 i 
| 辑 设备 响 有 <5 5~8 >8 高 端 SSD 
Time/ ms 日 
LDEV Response 逻辑 设备 响应 时 i 
Ropee. | se 设备 响 有 <8 8 -~10 >10 高 端 15kB 
Time/ ms 日 
LDEV Response 逻辑 设备 响应 时 i 
绝对 值 和 ns ey <10 10 ~15 >15 高 端 10kB 
指标 1me/ ms !] 
CHA IOPS/ 次 前 端 IOPS <5000 5000 ~ 8000 > 8000 高 端 
控制 器 IOPS/ 次 控制 器 IOPS <10000 I10000 ~20000| >20000 中 端 
CHA MBPS/( MB/s) 前 端 MBPS <200 200 ~280 >280 高 端 . 中 端 4GB 
CHA MBPS/( MB/s) 前 端 MBPS <400 400 ~ 560 >560 高 端 . 中 端 8GB 


101 


| 商业 银行 私有 云 设计 与 实现 


在 表 6-14 中 ， 只 有 绝对 值 指 标 保 持 在 “良好 值 ” 范 围 内 ， 才 能 确保 相对 值 指 标 运 
行 在 “和 良好 值 ” 范 围 ， 因 此 ， 在 性 能 规划 时 ， 要 对 绝对 值 指标 进行 详细 测算 。 性 能 
决 于 应 用 的 读 写 比例 、IO 块 大 小 、LO 特性 〈 随 机 还 是 顺序 ) 、 存 储 的 缓存 大 小 、 读 
命中 率 、 磁 盘 性 能 等 多 重 因素 。 

1) LDEV Response Time (逻辑 设备 响应 时 间 ) 。 存 储 的 整体 运行 水 平 需要 保持 在 
“良好 值 ”范围 内 ， 才 能 按照 服务 级 别提 供 的 响应 时 间 。 

2) CHA (前 端 通道 卡 ) IOPS。 服 务 目 录 里 定义 了 每 个 级 别 标 配 的 前 端 端口 数量 ， 
在 性 能 规划 时 ， 还 需要 对 IOPS 进行 详细 测算 ， 进 而 评估 端口 数量 是 否 能 够 满足 应 用 需 
求 。 比 如 应 用 A 的 IOPS 需求 为 20000 次 ， 服 务 级 别 决 策 为 金 级 ， 标 配 为 2 个 前 端 端口 ， 
但 是 CHA IOPS 应 保持 在 5000 次 以 下 ， 需 要 4 个 前 端 端口 才能 满足 性 能 需要 。 

3) 控制 器 IOPS。 中 端 存 储 由 2 个 控制 器 提供 前 后 端 接 入 ， 每 个 控制 器 的 IOPS 小 
于 10000 次 时 ， 处 于 良好 运行 状态 ， 应 用 的 IOPS 的 需求 总 量 不 能 超过 10000 次 。 

4) CHA MBPS。 前 端 端口 利用 率 为 50% ， 最 大 的 吞吐 量 = 前 端 端口 速率 x 50% 。 
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第 7 音 
私有 云 服务 设计 


7.1 云 服务 设计 思 


7.1.1 云 服 务 定义 及 设计 原则 





云 服 务 是 由 云 计 算 平台 提供 者 将 开 能 力 以 面向 用 户 的 服务 形式 来 进行 包装 和 集成 ， 
并 通过 云 管理 平台 和 Internet 或 者 Intranet 渠道 向 云 服务 消费 者 ( 用户) 来 提供 的 一 种 
服务 。 

云 服务 所 提供 的 开 能 力 包 含 了 服务 功能 和 服务 质量 两 个 方面 。 云 服务 是 云 管理 平台 
的 核心 内 容 ， 同 时 是 云 计算 技术 实现 和 业务 应 用 的 结合 点 。 开 发 好 的 云 服 务 需 要 发 布 注 册 
至 云 管理 平台 ， 云 管理 平台 需要 将 所 有 的 云 服 务 面向 消费 者 〈 用 户 ) 实现 交付 和 管理 。 
一 个 云 服务 由 云 服务 开发 者 定义 和 创建 并 发 布 至 云 管理 平台 。 当 云 服务 消费 者 提交 服务 请 
求 并 被 批准 后 ， 云 服务 提供 者 将 创建 一 个 云 服务 实例 ， 向 云 服务 消费 者 提供 云 服务 。 

云 服务 实例 是 云 服 务 在 生产 环境 下 存在 的 表现 形式 。 一 个 云 服务 可 以 集成 和 使 用 其 
他 的 云 服务 ， 通 常 一 个 高 阶 的 云 服务 需要 使 用 几 个 低 阶 的 云 服 务 进行 底层 构建 。 

云 服务 可 以 分 为 laaS、PaaS 和 SaaS 类 型 ， 也 可 以 服务 消费 者 的 不 同 来 区 分 (例如 ， 
公有 云 、 私 有 云 和 混合 云 ) 。 

进行 云 服 务 设计 时 ， 要 考虑 使 用 一 套 成 熟 的 、 可 行 的 方法 ， 根 据 不 同 的 平台 、 不 同 
的 功能 划分 不 同 层次 的 组 件 ， 由 组 件 组 装 成 不 同 的 云 服务 。 云 服务 设计 时 主要 遵从 以 下 
几 个 原则 ; 

(1) 通用 性 原则 云 服务 具有 通用 性 ， 适 用 于 较 多 场景 ， 而 不 是 极 少 被 使 用 到 。 

(2) 可 复 用 性 原则 ” 云 服务 采用 标准 、 统 一 的 开发 方法 ， 开 发 过 程 中 各 类 文档 、 
代码 、 脚 本 等 尽量 多 地 可 用 于 其 他 云 服 务 的 开发 ， 避 免 重复 开发 与 减少 工作 量 。 
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(3) 可 维护 性 原则 ”开发 出 的 云 服务 在 云 管理 平台 上 能 够 容易 配置 、 使 用 和 修改 。 
(4) 覆盖 全 生命 周期 原则 云 服务 要 覆盖 到 所 管理 资源 对 象 的 全 生命 周期 ， 从 资 
源 的 准备 、 供 给 、 维 护 、 扩 容 直 到 最 终 的 资源 回收 。 





7.1.2 云 服 务 与 云 管理 平台 的 关系 


在 一 个 云 服务 生命 周期 中 ， 主 要 经 过 开发 、 运 行 和 回收 三 种 状态 ， 如 图 7-1 所 示 。 
在 服务 的 开发 阶段 ， 完 成 云 服务 的 业务 定义 、 结 构 模 型 和 操作 模型 的 设计 ;在 运行 阶段 
形成 服务 实例 并 向 外 提供 云 服 务 能 力 ; 在 回收 阶段 将 服务 下 架 ， 终止 提供 该 云 服务 。 

云 服务 的 业务 定义 要 通过 云 服务 管理 平台 发 布 至 服务 目录 中 让 使 用 者 可 见 。 

云 服 务 的 结构 模型 和 操作 模型 需要 由 云 服务 管理 平台 调用 并 维护 其 与 该 云 服务 之 间 
的 关系 ， 确 保 云 服务 使 用 者 申请 使 用 云 服务 时 ， 可 以 通过 结构 模型 和 操作 模型 进行 供给 
并 形成 服务 实例 以 提供 云 服务 能 

对 于 准备 终止 和 回收 的 云 服 务 ， 需 要 云 服务 管理 平台 将 该 云 服务 从 服务 目录 中 下 
线 ， 并 调度 停止 服务 实例 ， 回 收 资源 。 


1 1 
开发 ! 运行 ! 回收 
服务 发 








云 服务 开发 














图 7-1 云 服 务 生命 周 共 


7.1.3 云 服 务 描述 模型 


云 服 务 的 模型 可 以 分 为 三 部 分 ， 即 业务 定义 、 结 构 模 型 和 操作 模型 ， 如 图 7-2 
所 示 。 

7.1.3.1 业务 定义 

云 服务 的 业务 定义 ， 是 从 业务 视角 来 描述 云 服 务 的 服务 能 力 ， 包 括 可 以 提供 的 功能 
和 服务 质量 等 ， 使 云 服务 用 户 能 够 更 容易 理解 云 服务 可 以 做 什么 ， 从 而 判断 出 云 服务 是 
否 能 够 满足 其 需求 ， 并 做 出 是 否 需要 申请 和 使 用 该 服务 的 决定 。 

7.1.3.2 结构 模型 


云 服务 结构 模型 包括 一 个 或 多 个 服务 单元 DU (Deployment Unit) ， 其 物理 存在 形式 
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7-2” 云 服务 模型 


是 镜像 文件 ， 可 以 从 结构 模型 中 看 出 该 云 服务 供给 之 后 的 组 织 形 式 。 

1. 服务 单元 DU 

服务 单元 DU 是 在 虚拟 层 云 服务 中 部 署 单 元 的 表述 ， 服 务 单元 DU 是 云 服务 的 最 小 
组 成 单位 ， 根 据 云 服务 需求 ， 一 个 或 一 个 以 上 的 服务 单元 DU 可 以 组 成 一 个 云 服务 的 部 
署 模式 ， 相 当 于 组 成 云 服 务 的 “ 零 部 件 ”， 其 物理 存在 形式 是 Image 镜像 文件 。 一 个 或 
一 个 以 上 的 服务 单元 DU 通过 编排 、 集 成 和 测试 ， 实 现 一 个 云 服 务 ， 服 务 单元 DU 与 云 
服务 的 开发 流程 如 图 7-3 所 示 。 


服务 单元 D 
服务 单元 DU | En 








服务 单元 DU 一 一 “零件 ” 
结 科 重型 与 操作 模型 一 一 “总 装 线 ” 





7-3 ”服务 单元 DU 与 云 服务 开发 流程 


可 以 举 个 例子 ， 制 作 一 个 云 服 务 ， 就 像 汽 车 生产 商 从 各 个 零 部 件 生 产 商 采购 汽车 零 
部 件 〈 比 如 方向 盘 、 发 动机 、 座 椅 、 大 灯 、 轮 胎 等 ) ， 通 过 编排 、 集 成 和 测试 ， 最 后 形 
成 不 同 物理 形态 (如 颜色 不 同 、 外 形 不 同 ) 但 是 结构 类 似 的 汽车 的 过 程 ， 如 图 7-4 
所 示 。 

2. 镜像 文件 (Image) 

镜像 是 服务 单元 DU 的 物理 存在 形式 ， 服 务 单元 DU 包含 的 内 容 通 过 镜像 封装 。 镜 
像 和 DU 是 一 对 多 的 关系 ， 因 此 ， 镜 像 的 开发 包括 了 镜像 文件 的 制作 ， 以 及 镜像 与 对 应 
的 服务 单元 DU 之 间 的 映射 关系 的 建立 。 

从 云 服 务 中 ， 镜 像 与 服务 单元 DU 的 对 应 关系 ， 可 以 看 出 需要 开发 的 服务 单元 DU 
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页 


7-4 汽车 构建 流程 

的 数目 。 镜 像 在 开发 过 程 中 ， 会 开发 多 个 DU， 如 果 有 镜像 可 以 满足 ， 那 么 直接 建立 映 
射 关 系 即 可 ; 如 果 没 有 ， 则 需要 新 开发 、 测 试 和 发 布 新 的 镜像 ， 镜 像 开 发 过 程 如 图 7-5 
所 示 。 











镜像 开发 过 程 


镜像 与 服务 
单元 的 关系 [So | 


输入 
















开发 镜像 
镜像 与 DU 关 系 对 应 关系 示例 测试 镜像 
第 号。 钱 像 名 称 镜像 过 输出 
20120001 2 Wipgdows Windows2008, PU 徊 2 
R22012 。。 配种 NTP 时 名 、DUS 通用 Windows 服 
(4 个 CPU\86 风 丰 ) rr 
立 耻 时 


图 7-5 镜像 开发 过 程 








7.1.3.3 操作 模型 

操作 模型 分 为 构建 计划 、 供 给 计划 、 管 理 计 划 和 维护 计划 。 

1. 构建 计划 

构建 计划 是 创建 一 个 镜像 的 过 程 ， 构 建 计划 的 同时 记录 镜像 的 版 本 号 、 配 置 文件 等 
关系 。 

2. 供给 计划 

供给 计划 是 申请 取得 虚拟 环境 ， 并 将 按照 云 服务 结构 模型 的 部 署 模式 将 镜像 部 署 在 
分 配 好 的 虚拟 环境 的 过 程 。 

3. 管理 计划 

管理 计划 是 当 一 个 云 服务 被 分 配 ， 成 为 虚拟 的 运行 环境 后 需要 处 理 的 流程 模型 。 分 
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为 配置 脚本 和 管理 注册 两 个 部 分 。 配 置 脚本 包括 网 络 配置 、 安 全 配置 、 管 理 配置 等 ; 管 


理 注册 包括 在 管理 平台 的 配置 和 虚拟 环境 的 配置 。 


4. 维护 计划 


维护 计划 处 理 的 是 在 服务 部 署 完 成 后 ， 服 务 运 行 生命 周期 中 需要 执行 的 各 种 运 维 操 
作 的 流程 模型 。 例 如 服务 启 停 、 扩 容 缩 容 、 备 份 恢复 、 灾 备 切 换 、 服 务 下 线 等 。 


7.1.4 云 服 务 发 布 


根据 云 服 务 和 云 管理 平台 之 间 的 关系 ， 当 一 个 云 服务 在 开发 完成 后 ， 至 少 向 云 管 理 
平台 应 该 发 布 如 下 内 容 。 云 管理 平台 在 接受 相关 发 布 内 容 后 ， 必 须 确保 相关 内 容 之 间 的 
关系 的 保持 ， 并 基于 云 管理 平台 的 拉 术 实现 方案 ， 完 成 进一步 满足 云 服 务 上 自动 供 给 的 要 
求 ， 例 如 流程 的 自动 化 实现 等 ， 以 确保 云 服务 提供 的 自动 化 。 


按照 云 服务 的 模型 ， 云 服务 发 布 内 容 见 表 7-1。 





表 7-1 云 服务 发 布 内 容 























项 目 类 别 项 目 内 容 备 注 
业务 定义 该 云 服务 业务 定义 





该 云 服务 使 用 服务 单元 DU 清单 











该 云 服务 结构 模型 设计 


































































































a " 区 只 针对 在 服务 开发 过 程 中 , 现 有 DU 清单 不 
该 云 服务 新 增 的 DU 清单 (可 选 ed . 
结构 模 攻 该 云 服务 新 增 的 服务 单元 DU 清单 (可 选 ) 能 满足 而 新 增 的 情况 
该 云 服 务 使 用 镜像 清单 
ep 只 针对 在 服务 开发 过 程 中 , 现 有 镜像 清单 不 
该 及 务 前 曾 向 锐 像 滞 章 ] 诈 _ 、 
该 云 服 务 新 增 的 镜像 清单 (可 选 ) 能 满足 而 新 增 的 情况 
pa : = 只 针对 在 服务 开发 过 程 中 , 现 有 镜像 清单 不 
该 云 服务 的 构建 计划 设计 (可 选 
该 云 服 务 的 构建 计划 设计 (可 选 ) 能 满足 而 新 增 的 情况 
操作 模型 该 去 服务 的 供给 计划 设计 
该 云 服 务 的 管理 计划 设计 


























该 去 服务 的 维护 计划 设计 


7.2.1 开发 过 程 中 的 角色 定义 


云 服务 开发 过 程 中 主要 的 参与 角色 包括 云 服务 设计 人 员 、 云 服务 测试 人 员 、 服 务 单 


元 设计 人 员 、 镜 像 制 作 人 员 、 专 业 领 域 技术 人 员 和 云 平 台 管 理 人 员 。 
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(1) 云 服务 设计 人 员 ”作为 该 云 服务 的 负责 人 ， 在 整体 云 服务 开发 过 程 中 发 挥 作用 。 

(2) 云 服务 测试 人 员 ”测试 整个 集成 后 云 服 务 的 人 员 。 

(3) 服务 单元 设计 人 员 ”服务 单元 DU 的 设计 者 。 

(4) 镜像 制作 人 员 制作 云 服务 镜像 的 人 员 ， 具 有 一 定 的 专业 领域 知识 。 

(5) 专业 领域 技术 人 员 ”对 云 服务 所 涉及 的 领域 有 较 多 经 验 的 技术 人 员 ， 涉 及 该 
领域 的 自动 化 程序 、 脚 本 等 的 开发 者 。 

(6) 云 平台 管理 人 员 ” 云 平台 的 配置 、 维 护 人 员 。 

云 服务 开发 过 程 中 所 涉及 的 人 员 角 人 色 关 系 如 图 7-6 所 示 。 


™ 
一 
i 








| th | 


改 | 云 服务 云 服务 


管理 者 使 用 者 





“、、 服 务 申请 和 使 用 


图 7-6 云 服务 相关 人 员 角 色 





7.2.2 云 服 务 开 发 过 程 


云 服 务 的 开发 过 程 分 为 云 服务 业务 定义 设计 、 云 服务 结构 模型 开发 、 云 服务 操作 模 
型 开发 、 集 成 测试 、 服 务 发 布 等 过 程 ， 如 图 7-7 所 示 。 
7.2.2.1 业务 定义 设计 
此 阶段 分 为 业务 需求 分 析 和 云 服 务 业 务 定 义 两 个 子 任务 ， 见 表 7-2。 
表 7-2 ”业务 定义 设计 阶段 的 任务 


























名 称 描 述 负责 人 员 | 输 入 输 ”出 
通过 对 需求 的 分 析 和 理解 ,选择 并 决定 是 否 
a 应 开发 一 个 新 的 云 服 务 , 并 将 所 要 实现 的 云 服 | 云 服 务 a x x x 云 服务 需 
| 二 求 4 堵 求 说 日 
Wm 务 从 功能 性 和 非 功能 性 进行 分 析 , 给 出 需求 分 | 设计 人 员 本 求 分 析 说 明 书 
析 说 明 书 ,说 明 需 要 实现 的 功能 和 质量 
给 出 此 云 服务 标准 的 业务 定义 ,包含 2 需求 去 服务 1 
云 服务 业务 定义 台 出 此 云 服务 标准 的 业务 定义 ,包含 服务 云 服务 需求 分 析 x x x 云 服务 业 

















的 能 力 和 服务 的 质量 设计 人 员 说 明 书 ”| 务 定义 说 明 
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步 又 2 步 又 3 
云 服务 结构 云 服 务 操作 
模型 开发 模型 开发 


步骤 5 
服务 发 布 





图 7-7 云 服务 开发 过 程 





7.2.2.2 结构 模型 开发 
此 阶段 分 为 选择 并 分 析 备 选 服务 单元 DU、 设 计 云 服务 部 署 模式 和 新 建 ( 封装) 一 
个 新 的 服务 单元 DU 等 子 任 务 ， 见 表 7-3。 
表 7-3 ”结构 模型 开发 阶段 的 任务 
名 称 描述 负责 人 员 | 输 ”入 输 出 





根据 云 服务 定义 和 需求 分 析 ,选择 支持 该 

选择 并 分 析 备 选 | 服务 的 备 选 服务 单元 DU ,给 出 选择 的 DU | 服务 单元 | 云 服务 业务 x x x 云 服务 DU 
服务 单元 DU | 列表 。 如 果 需 要 新 增 服务 单元 DU, 则 进行 | 设计 人 员 | 定义 说 明 | 目录 清单 

任务 “新 建 (封装 ) 一 个 新 的 服务 单元 DU” 








服务 单元 
服务 单元 DU 清单 x x x 云 服务 结 
设计 人 员 | 需求 分 析 | 构 模 型 设计 

说 明 书 








根据 需求 分 析 ,结合 已 选 服务 单元 DU 清 
单 , 设 计 该 服务 的 部 署 模式 ,形成 云 服 务 结 
构 模 型 


设计 云 服务 
部 署 模式 





新 建 (封装 ) 如 若 现 有 DU 不 能 满足 该 云 服 务 需 求 , 则 
一 个 新 的 服务 | 需 执 行 此 任务 ,根据 需求 ,结合 各 领域 服务 ， 
单元 DU 设计 新 增 服务 单元 DU 








服务 单元 | 云 服务 业务 x x x 云 服务 新 
设计 人 员 | 定义 说 明 | 增 服务 单元 设计 

















7.2.2.3 操作 模型 开发 
此 阶段 分 为 制定 及 设计 构建 计划 (包括 开发 镜像 和 测试 镜像 ) 、 开 发 设计 供给 计 
划 、 开 发 设计 管理 计划 和 开发 设计 维护 计划 等 子 任务 ， 见 表 7-4。 
表 7-4 ”操作 模型 开发 阶段 的 任务 
名 称 描 述 负责 人 员 | 输 入 输 出 


根据 结构 模型 设计 和 服务 DU 目录 ,选择 云 服 务 结 构 

制定 及 设计 | 支持 该 服务 单元 DU 的 备 选 镜像 ,如 果 现 有 镜像 模型 设计 、 x x x 云 服 务 新 
构建 计划 镜像 可 以 满足 , 则 此 任务 可 以 跳 过 ,车 不 能 | 制作 人 员 镜像 增 镜像 说 明 

满足 , 则 需要 设计 新 增 镜像 目录 清单 
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( 续 ) 
名 称 清 述 负责 人 员 | 输 入 输 出 
寺 镑 侥幸 装 藻 围 和 封装 内 容 齐 行 设计 并 
有 colin 
开发 镜像 在 具体 部 署 环境 中 实验 , 设计 镜像 及 建立 作 人 员 单元 设计 增 镜 像 说 明 
DU 对 应 关系 2 
在 服务 单元 的 DU 测试 环境 中 进行 镜像 | x x x 云 服 2 
测试 镜像 。 | 的 测试, 保证 镜像 通过 部 轩 在 指定 的 计算 资 | 全。 务 新 增 | op 
源 环境 上 能 够 建立 服务 单元 DU “| 镜像 说 明 | 
云 服务 | 云 服务 结构 
开发 设计 根据 结构 模型 ,结合 各 领域 操作 ,设计 供 | 设计 人 员 、| 模型 设计 、| yo yj gj 没 计 
供给 计划 “| 给 计划 专业 领域 | ”各 领域 人 
技术 人 员 | 操作 汇总 
云 服务 ”| 云 服务 结构 
开发 设计 根据 结构 模型, 结合 各 领域 操作 ,设计 管 | 设计 人 员 、| 模型 设计 、| 管理 计划 设计 
管理 计划 | 理 计划 专业 领域 | ”各 领域 ee 
技术 人 员 | 操作 汇总 
云 服务 | 云 服务 结构 
开发 设计 根据 结构 模型 ,结合 各 领域 操作 ,设计 维 | 设计 人 员 、| 模型 设计 、| yyyp 划 设 计 
维护 计划 | 护 计划 专业 领域 | ”各 领域 ee 
技术 人 员 | 操作 汇总 





7.2.2.4 云 服 务 测试 
此 阶段 分 为 制定 测试 用 例 、 制 定 测试 计划 、 申 请 并 搭建 测试 环境 、 进 行 集成 测试 和 
形成 测试 报告 并 评审 等 子 任务 ， 见 表 7-5。 



























































































































































表 7-5 云 服务 测试 阶段 的 任务 
名 称 描述 负责 人 员 输 ”入 输出 
a 0 云 服务 结构 模型 ,操作 模型 设 | 、 ， ，，， 
制定 测试 用 例 | ”编写 云 服务 集成 测试 用 例 Bg 测试 用 例文 档 
ge 0 云 服务 ro 0 
制定 测试 计划 | ”制订 云 服务 测试 计划 测试 人 员 | 测试 用 例文 档 测试 计划 文档 
申请 并 搭建 根据 测试 用 例 和 计划 ,申请 和 | 。 云 服务 | 。 测试 用 例文 档 \. 测 试 计 ,egejw 
测试 环境 | 搭建 有 关 的 测试 环境 测试 人 员 | 划 文档 Se 
ee PN 云 服务 测试 用 例文 档 , 测 试 计 | ”集成 测试 报告 
进行 集成 测试 进行 测试 测试 人 员 | 划 文档 (评审 前 ) 
. 形成 云 服务 总 体 测试 报告 ,并 | ” 云 服务 ee 
了 > nl > |E# 池 | 
形成 测试 。 | 进行 评审 ,确保 云 服务 功能 , 质 | 测试 人 员 、| ”集成 测试 报告 (评审 前 |、 ,* 三 服务 测 
报告 并 评审 了 Se 试 报告 (评审 后 ) 
量 达标 评审 人 员 








7.2.2.5 云 服 务 发 布 
此 阶段 分 为 云 服务 业务 定义 发 布 、 云 服务 结构 模型 发 布 和 云 服务 操作 模型 发 布 等 子 
任务 ， 见 表 7-6。 
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表 7-6 云 服 务 发 布 阶 段 的 任务 
名 称 描 述 负责 人 员 答 人 给 出 
云 服务 业务 | 。 发 布 云 服务 业务 定义 ,使 用 户 | 云 平台 | 
业务 定义 说 9 5E 
定义 发 布 可 以 了 解 云 服务 业务 内 容 | | 
结构 模型 设计 结果 . 测 
”| 谍报 告 (评审 后 ) 、x x | ， 镜像 有 
去 服务 结构 | 发 布 二 服务 结构 模型 ,并 与 相 | 云 平台 | 二 吕 务 产地 服 各 避 | 服务 单元 DU 
模型 发 布 关 云 服务 对 应 管理 人 员 | ，. ”ww | 目录 、x x x 云 服 
设计 、x x x 云 服务 新 增 务 结构 模型 
镜像 说 明 
结构 模型 设计 结果 操 - 
云 服务 操作 | 。 发 布 云 服务 操作 模型 ,并 与 结 | 去 平台 x 
模型 发 布 构 模型 建立 相关 关系 管理 人 员 | 告 (评审 后 ， ”| 操作 模型 
瑟 ( 评审 后 
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第 8 章 
云 管理 平台 设计 


8.1 设计 原则 及 思 


8. 1.1 设计 原则 


云 管理 平台 实现 云 环境 下 基础 设施 环境 自动 化 管理 ， 包 括 资源 的 自动 发 现 、 资 源 池 纳 
管 、 资 源 的 分 配 、 资 源 部 署 等 ， 同 时 还 可 对 系统 、 网 络 、 应 用 环境 自动 配置 ， 实 现 应 用 自动 
化 发 布 及 变更 自动 化 管理 等 功能 。 进 行 云 管理 平台 设计 时 主要 遵循 以 下 几 个 原则 |; 

1. 安全 性 原则 

商业 银行 的 数据 中 心 承 载 着 各 种 复杂 和 关键 的 业务 ， 云 管理 平台 处 于 数据 中 心 的 核 
心 节 点 ， 最 容易 受到 攻击 ， 安 全 保证 至 关 重 要 。 云 管理 平台 采用 虚拟 化 层 安 全 加 同 技 术 
保证 虚拟 化 平台 的 安全 ， 加 密 的 数据 传输 保证 数据 在 网 络 链 路 中 的 安全 ， 分 权 分 域 管 理 
保证 特定 用 户 对 系统 的 可 控 ， 提 高 安全 性 。 

2. 先进 性 原则 

一 体 化 云 管理 平台 利用 云 计 算 等 先进 技术 和 理念 ， 突 出 云 计 算 的 价值 ， 采 用 虚拟 化 
的 资源 自动 调配 等 先进 技术 ， 实 现 开 资源 的 联动 ， 实 现 上 自动 化 管理 、 运 维 的 新 理念 、 
新 技术 。 

3. 成 熟 性 原则 

一 体 化 云 管理 平台 承载 着 运 维 管理 的 关键 任务 ， 在 进行 系统 建设 时 要 充分 考虑 系统 
的 成 熟 和 稳定 。 系 统 的 软件 设计 和 硬件 采用 的 服务 器 、 存 储 、 网 络 等 设备 经 过 充分 测试 
和 验证 ， 保 证 各 子 系统 的 稳定 和 可 靠 。 

4. 可 靠 性 原则 

一 体 化 云 管理 平台 采用 元 余 、 高 可 用 集群 、 与 底层 松 看 合 等 特性 从 硬件 设备 、 链 路 
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等 方面 充分 保证 系统 的 整体 可 靠 性 ， 降 低 系 统 对 单独 设备 可 靠 性 的 要 求 。 

5. 可 扩展 性 原则 

一 体 化 云 管理 平台 具备 模块 化 扩展 能 力 ， 实 现 简单 、 快 速 部 署 和 上 线 。 同 时 ， 与 相 
关系 统 之 间 是 松 耦合 ， 可 保证 一 体 化 云 管理 平台 的 最 大 灵活 性 和 可 扩展 性 。 


8.1.2 建设 思路 


以 中 国 建设 银行 股份 有 限 公司 〈 简 称 建行 ) 为 例 ， 介 绍 银行 云 管理 平台 的 设计 思路 。 

建行 的 云 数 据 中 心 台 研 究 和 建设 思路 可 归纳 为 : 以 最 新 技术 趋势 为 蓝图 ， 以 新 一 代 
成 果 为 依托 ， 以 ITIL 实践 为 指引 ， 以 目标 需求 为 导向 ， 以 自动 化 为 手段 ， 以 一 体 化 管 
理 为 目标 ， 以 云 管理 平台 为 纽带 ， 以 自主 开发 为 保障 。 

1. 借鉴 

充分 学 习 和 吸收 业界 有 关 云 计算 的 理论 和 技术 ， 把握 云 管理 平台 和 云 数据 中 心 的 技 
术 趋 势 ， 确 保 建行 的 云 管理 平台 的 技术 路 线 的 正确 性 和 先进 性 。 

2. 衔接 

1) 衔接 建行 “新 一 代 ” 系 统 和 技术 架构 关于 云 计算 的 研究 成 果 ， 确 保 云 管理 平台 
能 有 效 满足 未 来 业务 的 需求 。 

2) 衔接 建行 数据 中 心 多 年 来 在 流程 、 制 度 、IT 服务 管理 方面 的 积累 ， 确 保 云 管理 
平台 能 满足 金融 行业 的 要 求 。 

3. 自主 创新 

云 计算 和 云 管理 是 非常 前 沿 的 理念 和 技术 ， 尤 其 是 金融 行业 在 云 管理 方面 目前 还 缺 
少 非常 成 熟 的 产品 和 方案 。 在 此 情况 下 ， 不 能 被 动 地 接受 厂商 方案 ， 必 须 坚 持 自 主 和 创 
新 原则 ， 以 需求 和 目标 为 导向 ， 寻 找 最 佳 的 解决 方案 。 

4. 整合 

云 计 算 和 云 管理 需要 在 最 佳 实践 的 指导 下 ， 对 多 种 技术 和 理念 的 整合 与 集成 ， 实 现 
一 体 化 管理 。 建 行 在 数据 中 心 建设 上 的 大 量 投资 ， 不 能 完全 推倒 或 遗弃 ， 而 是 要 在 新 的 
体系 框架 下 集成 适用 的 模块 ， 这 样 既 加 快 了 项 目的 进度 ， 又 保护 了 原 有 的 投资 。 

5. 持续 改进 

云 管理 平台 是 一 个 持续 改进 ， 不 断 演化 的 系统 。 在 考虑 长 期 的 业务 需求 下 ， 以 服务 
为 导向 , 构建 一 个 可 持续 的 架构 。 持 续 服 务 改进 ， 不断 地 释放 与 改进 系统 功能 。 























8. 1.3 服务 质量 


8. 1. 3.1 可 靠 性 
1. 持续 运行 概率 
1) 服务 时 间 为 7 x24h。 
2) 可 支持 在 线 维护 。 
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3) 可 忍受 的 停止 服务 时 间 为 30min ， 不 允许 数据 丢失 。 

2. 可 用 概率 

除 正 常 的 事务 处 理 时 间 等 待 外 无 其 他 等 待 情况 ， 可 用 概率 接近 100% 。 

3. 备份 与 恢复 

可 提供 完整 的 备份 方案 ， 包 括 软 件 备份 和 数据 备份 。 备 份 恢 复 所 需要 的 时 间 小 
于 30min。 

4. 灾难 备份 

需要 具有 高 级 别 的 灾 备 能 力 ， 提 供 完 善 的 灾难 备份 策略 。 

8.1.3.2 应 用 适应 性 

1. 部 署 指标 

云 管理 平台 组 件 采 用 Web 应 用 部 署 方式 对 外 提供 服务 ， 支 持 多 种 应 用 服务 器 ， 采 
用 参数 配置 的 方式 适应 不 同 的 部 署 环境 。 

2. 应 用 生命 周期 管理 能 

对 外 提供 两 种 接口 ， 产品 化 的 功能 集成 模块 和 对 外 的 Web Services API 接口 ; 同时 
通过 集成 、 联 邦和 调和 特性 集成 其 他 的 流程 或 者 数据 源 。 

8.1.3.3 可 管理 性 

1. 状态 发 布 能 

部 署 在 应 用 服务 器 中 ， 利 用 应 用 服务 器 提供 的 工具 可 以 检查 和 查看 组 件 的 部 署 状 
态 、 调 整 组 件 部 署 参数 、 启 动 或 者 停止 组 件 。 提 供 自 管理 功能 ， 用 于 检查 和 查看 组 件 核 
心服 务 的 基本 运行 状况 。 

2. 自动 化 管理 

需 提供 自动 化 管理 能 力 ， 出 现 故 障 后 可 自动 修复 。 

8.1.3.4 安全 性 

1. 完整 性 保障 能 力 

平台 内 部 的 业务 操作 ， 支 持 中 断 和 退回 机 制 ， 保 证 业务 的 完整 性 。 所 有 的 数据 操作 
都 有 严格 的 事务 控制 。 

2. 审计 保障 能 力 

对 所 有 的 关键 操作 、 安 全 威胁 和 系统 管理 操作 都 记录 详细 的 操作 日 志 ， 供 问题 追溯 
和 审计 使 用 。 



































8.2 架构 设计 


8.2.1 架构 描述 





云 管理 平台 总 体 架 构 包 括 云 管理 、 配 置 管理 数据 库 和 云 服务 三 个 模块 ， 如 图 8-1 所 示 。 
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一 体 化 云 管理 平台 


云 管理 
流程 编排 
SEE 

2 部 署 模板 管理 









服 
自动 发 现 | 联邦 调和 

服务 目录 | 业务 模型 操作 程 

资源 动态 管理 管 

理 


快速 部 署 、 自 动 适 配 


图 8-1 云 管理 平台 总 体 架构 


云 管理 模块 包括 流程 编排 、 部 署 模 板 管理 、 自 动 化 配置 、 自 动 化 操作 和 资源 动态 管 
理 ; 配置 管理 数据 库 包括 自动 发 现 、 联 邦 调 和 、 服 务 目录 和 业务 模型 ， 云 服务 模块 包括 
IaaS (计算 资源 、 存 储 资 源 和 网 络 资源 ) 和 PaaS (数据 库 、 中 间 件 和 相关 应 用 ) 。 

云 管理 平台 以 配置 管理 数据 库 为 桥梁 和 纽带 ， 实 现 云 管理 与 云 服 务 的 协同 与 融合 ， 
通过 云 管理 平台 实现 系统 的 快速 部 署 和 IT 基础 设施 资源 的 主动 适 配 ， 通 过 云 服 务 平台 
提供 开 资源 的 弹性 供给 和 自动 调整 。 


8. 2.2 ”逻辑 架构 设计 


云 管理 平台 逻辑 架构 如 图 8-2 所 示 。 

云 管理 平台 组 件 设计 核心 : 

1) 云 管理 平台 融合 现 已 存在 的 ITIL 流程 ， 将 云 管理 纳入 建行 现 有 管理 框架 之 中 。 

2) 以 CMDB (Configuration Managment Database， 配 置 管理 数 库 ) 为 核心 追踪 记录 
资源 变化 ， 实 时 反映 云 环境 资源 与 配置 状态 ,构建 计 费 模型 ， 提 供 准 确 计 费 依据 。 

3) 以 自动 化 调度 和 部 署 为 基础 ， 构 建 标准 、 快 速 、 灵 活 的 资源 自动 分 配 与 部 署 平 
台 ， 同 时 构建 长 效 的 持续 合 规 与 安全 审计 机 制 。 

4) 以 智能 监控 为 手段 ， 探 测 与 预警 性 能 与 故障 事件 ， 确 保 云 服务 满足 用 户 期 望 与 
服务 级 别 。 

云 管理 平台 依据 云 管理 模型 的 框架 思路 按照 层次 化 、 松 耦合 的 理念 进行 产品 架构 设 
计 ， 根 据 功 能 需求 ， 纵 向 层次 设计 和 横向 功能 设计 如 下 : 

(1) 纵向 层次 设计 

1) 资源 服务 层 : 实现 用 户 访问 系统 的 前 端 ， 支 持 自助 服务 的 模式 ,将 资源 请 求 以 
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云 管理 平台 核心 功能 模块 志平 人 最终 2 Ss 
二 要 了 名 习 必 能 术 类 [二 平 合 最终 用 户 云 平生 管理 员 云 平台 各 户 管 理 员 


关联 系统 模块 
关联 系统 子 模块 


















































服务 器 自动 化 


(o> 
Ii 


I 





网 络 自动 化 










i 3 





小米 得 洋 浇 洁 





EMC SMIS Hitachi NetAppTBM Storage 
虚拟 机 ”虚拟 机 由 Provider Me pe! Manager 


汀 性 准 是 深 前 菏 潍 


.X86 平台 一 IBM UNIX— HEUNIX 


天语 瀛 总 脂 


图 8-2 云 管理 平台 逻辑 架构 
注 : EMC SMIS Provider: EMC 存储 管理 接口 ，Hitachi Device Manager: 日 立 存储 设备 管理 ; NetApp SMIS Provid- 
er: Netapp 存储 管 接口 ; IBM Storage Manager: IBM 存储 管理 。 














一 种 标准 化 和 约定 的 方式 进行 描述 以 减少 沟通 成 本 并 为 后 续 自 动 化 节点 提供 必要 的 参 
数 ， 同 时 根据 最 佳 实践 和 用 户 需 求 构建 审批 及 变更 流程 ， 以 契合 用 户 个 性 ， 并 提供 持续 
调整 和 优化 的 能 

2) 资源 分 配 层 : 根据 用 户 的 请 求 ， 按 照 既 定 策略 对 资源 进行 分 配 ， 分 配 资源 包括 
网 络 资源 、 存 储 资源 、 计 算 资 源 等 。 

3) 资源 管理 层 : 实现 了 对 具体 资源 的 自动 化 配置 操作 ， 通 过 统一 的 平台 将 资源 对 
象 的 操作 人 逻辑 固化 和 参数 化 ， 并 通过 配置 管理 系统 和 流程 系统 的 整合 实现 所 需 的 自动 
化 ， 有 效 支 撑 资 源 环境 部 署 、 变 更 和 回收 。 

4) 资源 抽象 与 共享 层 : 第 三 方 资源 管理 平台 ， 如 虚拟 机 环境 、 存 储 环境 相关 管理 
平台 ， 通 过 该 层 实 现 对 异 构 环 境 的 统一 管理 。 
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5) 基础 设施 层 : 该 层 主要 包括 用 户 IT 环境 中 实际 物理 设备 ， 包 括 服务 器 、 网 络 、 
存储 等 资源 。 

(2) 横向 功能 设计 

1) 监控 管理 : 提供 实时 监控 实现 对 云 部 署 环 境 的 可 用 性 以 及 性 能 进行 监控 ， 对 云 
资源 的 整体 使 用 情况 进行 分 析 。 

2) 流程 审批 管理 : 实现 对 云 服务 请 求 的 审批 管理 ， 该 部 分 将 与 现 有 ITSM 管理 平 
台 整 合 ， 实 现 审批 管理 流程 的 统一 化 。 

3) 配置 信息 管理 : 实现 云 平台 配置 信息 的 统一 管理 ， 云 平台 的 相关 配置 信息 将 与 
当前 CMDB 平台 同步 ， 将 云 环 境 的 相关 配置 信息 导入 到 云 平台 中 ， 实 现 配置 信息 的 统 
一 管理 、 统 一 展现 、 统 一 应 用 。 

4) 容量 管理 : 提供 云 管理 平台 各 资源 运行 环境 和 业务 相关 性 能 数据 ， 对 云 管理 平 
台 进 行 统一 容量 分 析 、 容 量 预 测 及 规划 和 成 本 分 析 。 





8. 2.3 功能 架构 设计 


云 管理 平台 的 功能 层次 自 下 而 上 包括 : 资源 管理 层 、 平 台 管 理 层 、 应 用 管理 层 和 云 
管理 层 ， 如 图 8-3 所 示 。 


基础 设施 云 技术 标准 及 规范 





图 8-3 云 管理 平台 功能 架构 
1) 资源 管理 层 ， 主要 实现 对 计算 资源 、 网 络 资源 、 存 储 资 源 的 纳 管 、 分 配 及 调整 。 
2) 平台 管理 层 : 主要 实现 对 计算 资源 操作 系统 环境 ，HA 环境 ， 监 控 、 自 动 等 运 
维 工具 代理 、 备 份 恢复 等 安装 、 配 置 。 
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3) 应 用 管理 层 : 实现 数据 库 、 中 间 件 、 应 用 软件 等 的 部 署 、 配 置 及 管理 。 

4) 云 管理 层 : 实现 云 管理 平台 的 核心 功能 ， 包 括 门 户 管理 、 服 务 目 录 、 部 署 模 
式 、 服 务 策略 管理 、 资 源 管 理 、 配 置 管理 、 服 务 请 求 管理 、 资 源 监控 及 性 能 分 析 等 。 

此 外 ， 基 础 设施 云 技术 标准 及 规范 是 云 管理 平台 建设 的 支撑 。 建 行 信息 技术 管理 部 
统一 安排 编写 了 相关 的 技术 标准 规范 ， 为 云 管理 平台 的 实施 奠定 了 基础 。 


8. 2.4 部 署 架 构 设计 


依据 集中 管理 原则 ， 云 管理 平台 采用 集群 方式 部 署 以 保证 系统 性 能 与 可 用 性 。 云 管 
理 平台 部 署 架 构 如 图 8-4 所 示 。 

1) 云 管理 平台 将 通过 位 于 主 生产 中 心 的 系统 集中 管理 所 有 资源 池 ， 包括 主 生产 中 
心 、 同 城 和 异地 灾 备 中 心 以 及 分 行 的 资源 池 。 

2) 每 个 资源 池 除 了 硬件 设备 之 外 ， 还 包含 适应 于 该 类 型 资源 池 的 平台 管理 和 虚拟 
化 管理 系统 。 此 外 ， 为 了 提高 部 署 性 能 ， 在 每 个 资源 池 中 保存 适应 该 类 资源 池 的 镜像 和 
脚本 文件 副本 。 

3) 为 了 考虑 两 地 三 中 心 灾 备 模式 ， 实 现 灾 备 ， 在 同城 和 异地 灾 备 中 心 也 必须 部 署 
完整 的 云 管理 平台 和 数据 并 与 主 生产 中 心 的 系统 保持 同步 。 






































X86 部 署 单元 IBM 小 型 机 部 署 单元 HP 小 型 机 部 署 单元 
陋 像 与 千本 副 村 镜像 与 各 本 一 四 
X86 虚拟 化 管理 区 此 氢化 管理 























罗汉 数据 库 复制 


a | 
生产 中 心 























展 务 器 复 骨 





























i 服务 器 复制 一 -一 异地 灾 备 中 心 
文件 复制 























同城 灾 备 中 心 


















云 管理 平台 
( 灾 备 中 心 ) 
镜像 与 脚本 副本 | 









































存储 | 
部 署 单元 
a IBM 小 型 机 HP 小 型 机 IBM 小 型 机 HP 小 型 机 

| 部 加 单元 | 部 署 单元 vont | 部 署 单元 部 署 单元 


图 8-4 云 管理 平台 部 署 架 构 
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8.3 功能 描述 








从 服务 提供 者 和 服务 消费 者 的 视角 分 析 云 管理 平台 ， 其 功能 主要 分 为 云 资 源 管理 、 
云 服 务 管 理 、 配 置 管理 、 流 程 管理 、 监 控 管 理 及 容量 管理 。 


8. 3.1 云 服务 管理 





1) 自助 服务 门户 ; 提供 用 户 访问 接口 ， 实 现 云 资源 的 展示 、 请 求 、 管 理 等 用 户 操 
作 接 口 。 

2) 服务 请 求 管理 : 支撑 云 服 务 请 求 的 流程 管理 ;涉及 审批 流程 与 审批 角色 ， 与 现 
有 服务 请 求 和 变更 流程 接轨 。 

3) 服务 目录 : 云 管理 平台 对 最 终 用 户 提供 的 服务 清单 及 选项 。 

4) 部 署 模式 : 云 管理 平台 各 服务 项 目 具 体 定义 和 部 署 设 计 。 

8. 3. 1.1 自助 服务 门户 

自助 服务 门户 是 整个 云 管理 平台 的 前 端 ， 是 各 类 角色 用 户 与 系统 交互 的 接口 ， 该 门 
户 将 提供 云 服务 请 求 、 管 理 、 定 义 、 权 限 分 配 等 全 生命 周期 的 各 类 操作 活动 接口 ， 在 服 
务 请 求 阶段 ， 该 门户 对 外 提供 服务 目录 以 供用 户 进行 选择 。 

8. 3. 1.2 ”服务 请 求 管理 

负责 用 户 服务 请 求 提 交 后 的 审批 管理 ， 在 本 次 方案 中 用 户 请 求 管理 将 由 云 管理 平台 
解决 方案 中 的 服务 请 求 模块 实现 ， 但 相关 审批 过 程 需要 与 建行 当前 ITSM 管理 平台 服务 
请 求 流程 对 接 集成 。IT 服务 管理 平台 审批 完成 后 将 结果 返回 给 云 管理 平台 并 由 云 管理 
平台 进行 后 继 处 理 。 

8.3.1.3 服务 目录 

服务 目录 是 云 管理 平台 对 外 提供 的 各 类 服务 项 目 。 

1) 服务 目录 的 主要 用 途 包括 : 

@ 容纳 和 管理 服务 产品 。 

@ 服务 的 用 户 语言 描述 。 

@ 通过 自助 服务 门户 向 用 户 展现 。 

2) 服务 目录 描述 的 主要 内 容 包 括 : 

Q@ 描述 服务 产品 ， 以 业务 语言 描述 和 关联 费用 。 

@ 向 用 户 展现 可 消费 的 服务 产品 。 

@ 提供 各 种 不 同 服务 创建 的 灵活 性 ， 创 建 服 务 器 、 部 署 应 用 、 加 载 配置 等 。 

3) 服务 目录 的 定义 分 为 三 个 层次 ， 其 主要 内 容 包括 ; 

@ 服务 的 名 称 及 服务 内 容 的 描述 。 
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@ 服务 的 分 类 : 从 部 署 模式 等 角度 分 拆 服务 的 类 型 ， 细 化 差异 化 服务 内 容 ， 以 满 
足 同一 服务 内 容 的 不 同 级 别 或 要 求 的 差异 化 需求 ， 并 描述 其 计较 方式 。 该 部 分 每 类 服务 
的 定义 又 分 为 服务 交付 和 请 求 交付 两 部 分 ， 其 中 请 求 交付 为 展现 给 用 户 请 求 者 的 信息 定 
义 ， 服 务 交 付 则 定义 该 服务 的 具体 内 容 ， 服 务 交 付 将 与 部 署 模式 中 的 服务 定义 和 服务 部 
署 定义 之 间 关联 。 

@ 服务 的 选项 : 描述 该 服务 可 选择 的 项 目 和 计价 方式 。 

8.3.1.4 部 署 模式 

1. 部 署 模式 主要 目的 ; 

1) 定义 服务 实现 相关 的 基础 架构 组 件 、 软 件 包 及 连接 关系 。 

2) 以 部 署 模型 描述 一 种 服务 如 何以 不 同 的 规格 在 基础 架构 中 部 署 实现 。 

2. 部 署 模 式 内 容 服务 定义 (Web 集 群 ) 

部 署 模式 将 与 服务 目录 第 二 个 层次 BS 
中 的 服务 交付 相对 应 ， 从 而 实现 服务 目 
录 到 部 署 模式 的 映射 ， 将 用 户 看 到 服务 
的 描述 与 服务 部 署 框架 对 应 起 来 。 部署 。 “| 































模式 包括 以 下 两 个 部 分 : 民 
(1) 服务 定义 ( 见 图 8-5) ~ SS 四 SS 国 
1) 提供 服务 的 功能 定义 (包括 单 (得 服务 时 二 久 服务 本 定义 
台 服务 器 类 型 的 服务 和 多 层 应 用 环境 平 
台 类 型 的 服务 ) 。 


2) 为 服务 表明 操作 系统 、 软 件 及 小 EWe 付 
连接 (组 成 服务 的 各 功能 组 件 及 相互 关 
联 关系 ) 。 

3) 使 用 介质 库 作 为 集中 的 软件 定义 库 。 

(2) 服务 部 署 定义 

1) 提供 服务 的 部 署 态 视图 ( 见 图 8-6): 定义 部 署 服务 的 一 种 或 多 种 方式 〈 如 虚拟 
部 署 形态 、 物 理 部 署 形 态 等 ) 。 

2) 说 明 服务 运行 所 需要 的 资源 。 

3) 由 服务 咒 对 象 、 存 储 对 象 和 网 络 对 象 〈 含 负载 均衡 /防火 墙 规则 ) 组 成 。 

在 部 署 模式 中 ， 管 理 员 可 针对 资源 的 构成 ， 如 虚拟 机 模板 、 硬 件 规 格 、 网 卡 个 数 及 
所 在 VLAN 、 安 装 软件 及 部 署 方式 等 诸多 资源 组 成 要 素 进 行 定 制 。 

3. 部 署 模 式 示例 

平台 以 可 视 化 方式 呈现 定制 结果 ， 如 图 8-7 所 示 。 

部 署 模式 与 服务 目录 、 虚 拟 机 模板 和 自动 化 模块 的 关系 如 图 8-8 所 示 。 

云 管理 平台 通过 统一 调度 模块 衔接 上 层 部 署 模 式 和 底层 自动 化 操作 。 当 用 户 提 交 服 
务 申 请 后 ， 云 管理 平台 的 调度 模块 根据 用 户 的 请 求 ， 完 成 静态 IP 地 址 获取 、 虚 拟 机 克 
隆 、 软 件 安装 与 设 定 、 更 新 配置 数据 库 等 操作 ， 实 现 端 到 端的 服务 创建 。 
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数据 库 服务 器 
AIX .Oracle 






Web 服 务 器 应 用 服务 器 
Linux、Apache Linux、Weblogic 
























到 8-6 服务 部 署 态 视图 

















EE a 一 数据 库 访 问 一 一 一 一 一 一 1 
| 
数据 库 组 件 Web 组 件 
国 
数据 服务 器 Web 服 务 器 





8-7 ”服务 定制 结果 











8. 3.2 ” 云 资源 管理 


资源 管理 层 主 要 对 虚拟 化 或 物理 资源 进行 资源 纳 管 和 池 化 ， 主 要 是 通过 服务 器 自动 
化 、 网 络 自动 化 、 存 储 自动 等 管理 工具 将 纳 管 后 的 资源 管理 抽象 为 统一 的 接口 ， 并 通过 
该 接口 实现 系统 各 类 资源 的 部 署 。 该 层 将 承担 承上启下 的 作用 ， 自 下 而 上 对 各 类 资源 进 
行 纳 管 ， 自 上 而 下 对 资源 进行 实例 化 部 署 和 操作 。 

8.3.2.1 资源 池 化 及 纳 管 

所 有 资源 需要 在 云 管理 平台 进行 登记 和 纳 管 才能 实现 资源 的 池 化 。 云 管理 平台 主要 
有 三 类 资源 需要 统一 管理 ， 即 计算 资源 、 存 储 资源 和 网 络 资源 。 云 管理 平台 资源 对 象 如 
图 8-9 所 示 。 
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图 8-8 部 署 模式 构成 
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图 8-9 云 管理 平台 
注 : CISCO POD: 思科 网 络 发 布 单元 
技术 有 限 公司 ; EMC: 易 安信 公司 ; 


资源 对 象 
; NetApp: 美国 网 域 存储 








HDS: 日 立 数据 。 

1. 计算 资源 池 化 

当前 计算 资源 主要 包括 分 为 物理 资源 和 虚拟 资源 ， 通 过 服务 器 自动 化 工具 完成 计算 
资源 池 化 。 

(1) 物理 资源 ”自动 化 工具 支持 对 X86 服务 器 、IBM 小 型 机 、HP 小 型 机 服务 右 的 
管理 。 

1) X86 服务 需 资 源 : 在 物理 服务 器 加 电 启 动 后 通过 PXE (Preboot execute environ- 
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ment， 预 启动 执行 环境 ) 获取 其 MAC 地 址 ， 并 以 MAC 地 址 作为 资源 标识 进行 纳 管 。 

2) IBM、HP Unix 服务 融资 源 : 使 用 服务 器 厂商 自身 的 分 区 技术 进行 资源 纳 管 。 

(2) 虚拟 资源 ”自动 化 工具 支持 以 下 虚拟 环境 管理 . 

1) VMware。 

2) Microsoft Hyper-V。 

3) Solaris Global Zone。 

4) IBM PowerVM。 

5) CitrixXen。 

6) Redhat KVM, 

2. 网 络 资源 池 化 

网 络 资源 的 池 化 主要 通过 网 络 自动 化 工具 完成 ,支持 目 前 市 场 上 主推 的 网 络 设备 。 
运 维 操作 组 件 对 网 络 设备 的 管理 主要 有 以 下 三 种 类 型 ， 见 表 8-1。 

表 8-1 网 络 设备 管理 类 型 
































访问 读 取 各 网 络 设备 运行 信息 ,并 执行 各 种 指令 操 | ”通过 各 网 络 设备 管理 接口 进行 ,支持 的 网 络 设 
作 , 包 括 配置 . 巡 检 、 备 份 等 备 管理 接口 包括 Telnet .SSH HTTP 以 及 HTTPS 

配置 配置 备份 恢复、 上 载 等 支持 TFTP FTP 以 及 SCP 

介质 系统 安装 、 补 丁 安装 等 支持 TFTP FTP 以 及 SCP 








相关 网 络 资源 纳入 管控 后 将 资源 池 化 后 网 络 资源 被 分 配 为 以 下 几 种 类 型 ; 

1) 提供 点 (Pod) : 代表 物理 上 接近 的 一 个 网 络 环境 ， 与 地 域 相 关 。 

2) 网 络 容器 ( Network Container) : 代表 网 络 二 层 意义 上 的 一 个 分 段 ， 通常 这 样 划 
分 的 主要 目的 是 为 特定 用 户 使 用 或 负载 的 原因 。 

3) 区 域 (Zone) : 代表 网 络 环境 更 细 粒 度 的 划分 ， 通常 是 从 负载 或 安全 
考虑 。 

4) 网 络 (Network): VIAN。 

3. 存储 资源 池 化 

根据 云 服务 规划 ， 存 储 资 源 池 主要 包括 SAN 存储 资源 、NAS 存储 资源 和 OSD 存储 
资源 。 

存储 资源 的 纳 管 可 根据 存储 类 型 (如 : NetApp 、HDS、EMC) 建立 不 同 的 适配器 ， 
并 与 存储 资源 建立 管理 关系 。 

(1) HDS 存储 ”可 通过 和 HDS 存储 管理 工具 集成 的 方式 实现 对 HDS 存储 的 管理 ， 
如 图 8-10 所 示 。 

(2) EMC 存储 ”通过 调用 存储 标准 接口 方式 完成 对 EMC 存储 的 操作 ， 如 图 8-11 
所 示 。 

(3) NetApp 存储 ”与 EMC 存储 类 似 ， 采 用 与 标准 接口 集成 的 方式 实现 对 NetApp 
的 管理 操作 。 同 时 ， 要 求 云 管理 平台 对 存储 管理 还 需要 支持 与 以 下 存储 管理 软件 集成 ; 
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1) IBM Tivoli Storage Manager: IBM Tivoli 存储 管理 。 

2) HP Storage Essentials: HP 存储 管理 平台 。 

3) NetApp Provisioning Manager: NetApp 存储 管理 软件 。 
4) EMC Clariion: EMC 中 端 存储 系列 。 

5) Hitachi Storage: 日 立 存储 。 


Hitachi AMS Disk Array 


云 平台 协调 
工作 引擎 






IHITACHI]| 





HITACHI |wBEM 





ee LarTACH| 
Hitachi Hitachi USP-V Controller 
Device Manager 


上 
响应 J 划 





图 8-10 ”HDS 存储 管理 技术 示意 图 
注 : HITACHI: 日 立 ; WBEM: 基于 WEB 的 企业 管理 ，Hitachi Device Manager: 日 立 设备 管理 ; 
Hitachi AMS Disk Array: 日 立 AMS 磁盘 阵列 ，Hitachi USP-V Controller: 日 立 USP-V 控制 器 。 
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图 8-11 EMC 存储 管理 技术 示意 图 
注 : EMC: 易 安信 ; WBEM: 基于 Web 的 企业 管理 ，EMC SMI-S Provider: EMC SMI-S 
(Storage Management Initiative Specification， 存 储 管理 主动 规范 ) 协议 提供 者 ; 
EMC Clariion Disk Array: EMC Clariion 磁盘 阵列 。 











8.3.2.2 资源 部 署 


资源 部 署 是 指 一 个 特定 服务 请 求 的 实例 化 过 程 ， 该 实例 化 工作 将 由 资源 管理 层 ， 根 
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据 请 求 服务 的 部 署 定义 结合 服务 策略 分 配 的 目标 资源 对 象 ， 操 作 池 化 资源 的 接口 进行 实 
际 的 部 署 工作 。 该 环节 将 主要 涉及 三 大 资源 池 的 实例 化 、 软 件 部 署 和 整体 环境 的 协同 
调度 。 

1. 部 署 调度 

三 大 资源 的 实例 化 ， 软 件 部 署 的 协同 调度 将 由 云 管理 平台 的 核心 模块 根据 部 署 模式 
的 定义 要 求 ， 驱 动 各 类 池 化 资源 协同 完成 。 

2. 网 络 资源 部 署 

网 络 资源 的 配置 将 主要 通过 网 络 自动 化 组 件 来 执行 ， 通 过 与 被 管理 设备 的 控制 接口 
进行 在 线 配 置 和 管理 。 

3. 服务 需 资 源 部 署 

服务 需 资 源 的 部 署 包括 物 理 环境 部 署 和 虚拟 环境 部 署 ， 将 主要 通过 服务 器 自动 化 工 
具 执 行 ， 支 持 以 下 环境 的 部 署 。 

1) Microsoft Windows。 

2) Linux。 

3) VMware ESX and WMWare ESXi。 

4) Oracle Solaris。 

5) IBM AIX。 

6) HP Unix。 

7) Citrix XenServer。 

(1) 物理 环境 部 署 对 于 X86 平台 系统 ， 服 务 器 自动 化 组 件 将 支持 网 络 启动 的 机 
器 进行 网 络 操作 系统 静默 安装 ， 对 于 Windows 及 Linux 两 类 X86 平台 都 支持 ， 安 装 介质 
在 打包 的 同时 需要 安装 执行 代理 ， 服 务 需 在 完成 操作 系统 安装 的 同时 ， 安 装 其 他 运 维 工 
具 代 理 程序 ， 后续 其 他 软件 的 安装 及 配置 将 由 执行 代理 来 操作 。 

(2) 虚拟 环境 部 署 ”虚拟 环境 部 署 分 为 虚拟 资源 划分 和 操作 系统 部 署 两 部 分 。 

1) 虚拟 资源 划分 。 虚 拟 机 资源 的 分 配 和 创建 将 通过 服务 器 自动 化 组 件 执行 ， 该 组 
件 将 通过 集成 接口 直接 调用 各 类 虚拟 化 资源 的 管理 软件 接口 进行 分 配 并 初始 化 资源 。 

2) 操作 系统 部 署 。 

QD X86 平台: 在 虚拟 机 虚拟 机 环境 划分 后 ， 其 部 署 由 服务 器 自动 化 组 件 驱 动 虚拟 
机 预定 模板 进行 克隆 安装 ， 虚 拟 机 预定 模板 应 包含 执行 代理 ， 以 便 支 持 后 续 安装 部 署 。 

@ IBM AIX 服务 器 : 在 HMC 划分 VIOC 后 ， 服 务 器 自动 化 组 件 将 驱动 NIM server 
安装 部 署 操作 系统 。 

(8) HP Unix 服务 器 : 在 上 一 步 划分 Vpar 和 nPar 后 ， 服 务 兢 自动 化 组 件 驱 动 HP 的 
Tgnite 系统 安装 模式 进行 操作 系统 部 署 。 

@ IP 地 址 池 管 理 ， 服务 器 的 卫 地 址 的 管理 和 分 配 统一 由 云 管理 平台 负责 ， 在 部 署 
操作 系统 的 过 程 中 ， 云 管理 平台 会 将 IP 地 址 的 配置 作为 参数 一 同 放 置 在 系统 安装 调度 
流程 中 ， 当 操作 系统 安装 后 将 自动 更 新 IP 地 址 。 

以 上 几 种 操作 系统 部 署 方式 ， 均 需要 在 制作 安装 介质 的 同时 将 执行 代理 打包 ， 系 统 在 完 
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成 操作 系统 静默 安装 的 同时 ， 安 装 执 行 代理 ， 后 续 软 件 部 署 的 执行 将 使 用 执行 代理 操作 。 

4. 存储 资源 部 署 

存储 资源 的 部 署 在 纳 管 阶段 即 由 存储 自动 化 组 件 将 存储 的 各 类 操作 进行 了 抽象 化 ， 
并 对 存储 底层 接口 进行 封装 ， 形 成 上 层 服 务 定义 模块 提供 的 标准 操作 接口 ， 在 进行 存储 
资源 分 配 时 ， 云 管理 平台 直接 通过 该 类 接口 进行 管理 ， 实 现存 储 资源 的 划分 和 创建 。 

5. 软件 部 署 

在 服务 器 部 署 (物理 或 虚拟 机 ) 后 ， 系 统 将 自动 安装 执行 代理 。 执 行 代理 将 根据 
部 署 模式 的 定义 ， 定 位 该 服务 所 需要 安装 的 各 类 软件 组 件 ， 包 括 操作 系统 、 数 据 库 、 中 
间 件 、 应 用 等 ， 并 按照 执行 计划 自动 完成 软件 部 署 执行 计划 。 

8. 3. 2.3 资源 分 配 层 

资源 分 配 层 的 核心 是 服务 策略 管理 模块 ， 它 的 主要 用 途 是 根据 用 户 的 请 求 和 部 署 模 
式 以 及 预 置 的 资源 分 配 策略 对 池 化 资源 进行 自动 化 分 配 及 动态 分 配 。 

资源 可 按照 各 种 维度 进行 划分 ， 并 确定 划分 策略 ， 在 部 署 时 通过 云 管理 员 分 配 的 各 
类 策略 进行 动态 匹配 ， 从 而 映射 出 下 一 步 部 署 过 程 中 所 需 的 具体 资源 ， 实 现 资源 池 化 到 
虚拟 化 或 物理 资源 的 映射 。 

1. 资源 动态 策略 分 配 

资源 的 动态 分 配 将 根据 资源 划分 策略 以 及 资源 的 容量 使 用 情况 进行 动态 分 配 ， 分 配 
过 程 有 两 步 。 

1) 第 一 步 : 在 多 个 候选 资源 池 中 确定 唯一 资源 池 (如 ， 多 个 相同 配置 ESX 组 成 的 
计算 机 组 ) 。 

@ 用户/ 组织- 一 资源 池 (网 络 池 + 计算 机 池 + 存储 池 ) 。 

@) 部 署 方式 一 一 资源 池 (网 络 池 + 计算 机 池 + 存储 池 ) 。 

@@ 将 用 户 /组 织 、 部 署 方式 与 资源 池 关 联 起 来 ， 可 在 运行 时 确定 合适 的 资源 目标 。 

@ 可 以 自 定义 多 种 特性 进行 策略 制定 ， 如 服务 级 别 、 地 域 位 置 、 数 据 安 全 性 、 技 
术 分 类 条 件 等 。 

2) 第 二 步 : 在 目标 资源 池 中 确定 唯一 资源 。 

Q@ 通过 基于 性 能 监控 的 容量 管理 技术 确定 最 优 容量 的 资源 。 

@ 平台 收集 并 分 析 及 预测 资源 的 性 能 变化 情况 与 趋势 ， 并 对 资源 目标 选择 请 求 调 
用 并 给 出 返回 。 

2. 资源 分 配 变更 管理 

资源 分 配对 象 确定 后 系统 将 自动 对 资源 的 变更 提出 变更 申请 ， 该 环节 将 与 ITSM 领 
域 的 变更 管理 集成 ， 由 变更 管理 流程 进行 审批 ， 审 批 结 果 将 返回 云 管理 平台 ， 云 管理 平 
台 将 根据 审批 结果 继续 服务 的 部 署 或 者 终止 。 














8. 3.3 配置 管理 
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的 数据 库 ， 其 立足 点 是 支撑 云 管理 平台 的 正常 运行 ， 关 注 云 服务 对 象 全 生命 周期 的 管理 
需求 和 功能 文 撑 。 该 配置 管理 数据 库 所 描述 的 对 象 和 属性 范围 为 CMDB 的 逻辑 子 集 ， 
是 CMDB 的 提供 者 之 一 。 

云 平 台 配置 管理 数据 库 中 的 数据 必须 是 结构 性 的 ， 而 且 可 以 将 结构 化 的 数据 提供 给 
CMDB。 在 数据 提供 过 程 中 ， 可 以 根据 CMDB 的 数据 要 求 对 结构 化 数据 进行 必要 的 取 
舍 。 云 平台 配置 管理 数据 库 内 部 的 数据 模型 应 该 满足 CDB (Common Data Model) 模型 
要 求 ， 并 且 数 据 模型 可 以 根据 管理 的 需要 进行 调整 。 云 平台 配置 管理 数据 库 可 实现 云 资 
源 数据 (如 计算 资源 、 网 络 资源 、 存 储 资源 ) 和 云 管理 平台 的 管理 数据 ( 如 服务 目录 、 
合同 信息 、 云 管理 对 象 信息 等 ) 的 统一 存放 和 管理 。 

















8. 3.4 流程 管理 


云 管理 平台 的 主要 相关 管理 流程 包括 服务 请 求 管 理 、 变 更 管理 以 及 故障 管理 ， 其 相 
关 定 义 如 下 : 

1) 服务 请 求 管理 : 云 服务 目录 项 目的 服务 请 求 管理 ， 包 括 各 类 Iaas 、Paas 以 及 非 
云 项 目的 服务 请 求 管理 。 

2) 变更 管理 : 云 环境 相关 的 变更 管理 ， 包 括 云 环境 资源 的 创建 、 分 配 、 调 整 以 及 
各 类 CMDB 项 目的 变更 。 

3) 故障 管理 : 云 平 台 监 控 管 理 相 结合 实现 云 环境 运 维 监控 故障 管理 。 

上 述 几 项 流程 可 通过 标准 接口 实现 与 流程 平台 的 集成 ， 在 现 有 流程 管理 规范 下 制定 
符合 云 管理 要 求 的 审批 路 径 及 相关 要 求 ， 审 批 处 理 结果 反馈 给 云 管理 平台 ， 云 管理 平台 
依据 反馈 结果 进行 下 一 步 处 理 。 














8. 3. 5 监控 管理 


云 环境 下 的 监控 保障 体系 非常 重要 ， 以 确保 云 服 务 的 正常 高 效 运行 ， 支 持 云 环境 中 
资源 的 最 大 化 使 用 ， 更 好 地 发 挥 云 技术 的 优势 ， 主 要 包括 三 个 方面 。 集 中 监控 数据 流 如 
图 8-12 所 示 。 

1) 要 保障 整个 云 可 以 提供 优质 的 服务 。 这 里 主要 考虑 针对 客户 的 需求 监控 如 何 保 
障 云 的 服务 供给 。 监 控 需 要 有 一 种 手段 主动 发 现 现在 的 服务 水 平 是 否 能 够 满足 客户 需 
求 ， 无 论 是 从 用 户 端 还 是 从 服务 端 都 应 该 可 以 看 到 用 户 对 于 服务 的 感受 是 什么 样 的 。 同 
时 还 需要 有 一 些 手 段 能 够 保障 云 环境 所 提供 的 能 力 是 能 够 满足 业务 需求 发 展 的 ， 并 且 监 
控 应 该 赋予 云 预测 的 能 力 ， 在 服务 出 现 问 题 之 前 ， 就 能 够 通知 用 户 ， 而 不 是 等 服务 真正 
出 现 问 题 后 才 告 诉 用 户 现 在 服务 不 能 进行 了 。 

2) 支撑 容量 规划 的 能 力 。 监 控 可 以 根据 现在 的 容量 和 状况 分 析 云 环境 是 否 能 够 支 
撑 未 来 的 发 展 。 缩 短 容 量 评估 的 周期 ， 适 应 业务 的 快速 发 展 。 

3) 支持 弹性 伸缩 的 能 力 。 根 据 性 能 、 容 量 数据 实时 分 析 系 统 的 资源 使 用 情况 ， 分 
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析 总 结业 务 模式 ， 并 结合 业务 发 展 我 需求 ， 预 测 资源 需求 ， 合 理 弹 性 分 配 云 环境 中 现 有 
的 资源 。 


云 管理 平 辐 一 
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(1) 监控 架构 说 明 

1) 数据 展现 层 : 监控 数据 的 大 屏幕 ， 门 户 展现 ， 以 及 进行 报表 分 析 。 

2) 数据 处 理 层 : 数据 处 理 主要 部 署 的 是 事件 处 理 服务 器 ， 事 件 处 理 服 务 器 进行 告 
警 处 理 以 及 业务 影响 模型 展示 分 析 。 在 该 层 可 根据 系统 的 负载 情况 分 级 部 署 ， 即 子 服务 
器 和 父 服 务 器 ， 各 子 服务 顺 负 责 制 定 区 域 的 性 能 数据 采集 ， 动 态 基线 处 理 以 及 告警 事件 
预 处 理 ; 父 服务 顺 集 中 汇聚 来 自 子 服务 需 的 告警 事件 然后 进行 统一 集中 处 理 。 

3) 数据 汇聚 层 : 数据 汇聚 层 负责 多 个 采集 节点 的 数据 汇聚 以 及 跨 区 域 或 防火 墙 伟 
输 ， 该 层 主 要 部 署 集 成 服务 ， 由 集成 服务 和 各 监控 代理 连接 收集 并 采集 相关 数据 。 

4) 数据 采集 层 : 数据 采集 层 主要 是 指 云 环境 下 监控 对 象 及 指标 的 数据 获取 。 根 据 
监控 对 象 及 监控 模式 的 划分 ， 对 云 环境 的 监控 分 为 两 个 层面 。 

QD 虚拟 环境 监控 : 如 图 8-12 所 示 ， 监 控 代理 通过 与 虚拟 机 管理 端 集成 进行 监控 。 
该 部 分 内 容 的 监控 主要 关注 虚拟 环境 的 性 能 及 资源 使 用 情况 。 

Q 物理 实体 机 及 虚拟 机 内 部 监控 : 通过 自动 化 操作 组 件 部 署 监控 代理 进行 监控 数 
据 采 集 。 

(2) 自动 化 集成 
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1) 数据 采集 层 各 监控 代理 的 安装 部 署 ， 以 及 监控 实例 配置 将 统一 由 执行 代理 来 实现 。 
2) 监控 服务 咒 的 补丁 安装 和 日 常 巡 检 将 统一 由 执行 代理 来 操作 。 

3) 监控 服务 器 产生 的 各 类 告警 可 触发 执行 代理 并 进行 相关 的 故障 修复 。 

4) 监控 服务 器 故障 分 析 数 据 可 通过 触发 执行 代理 获取 相关 性 能 及 故障 信息 。 


1. 云 平 台 容量 管理 的 主要 功能 : 

1) 统计 各 类 关键 性 能 指标 ， 负 责 长 期 的 历史 性 能 数据 分 析 ， 方便 运 维 人 员 及 时 掌 
握 系统 运行 情况 及 健康 状态 ， 对 整体 资源 进行 及 时 有 效 的 调控 。 

2) 提供 基于 实际 性 能 指标 的 预测 分 析 功 能 ， 该 功能 可 根据 当前 指标 的 变化 情况 ， 
预测 未 来 负载 的 变化 趋势 ， 帮 助 运 维 人 员 及 时 调整 资源 池 容 量 ,满足 业务 增长 的 需要 ， 
避免 对 业务 需求 增长 的 浪 后 满足 。 

3) 可 帮助 分 析 系 统 否 干 关键 指标 之 间 的 影响 关系 ， 如 啊 应 时 间 和 内 存 之 间 是 否 存 
在 线性 依赖 关系 ， 如 果 存 在 该 依赖 关系 ， 系 统 可 通过 调整 内 存 来 直接 优化 响应 时 间 ， 通 
过 该 分 析 手 段 可 为 运 维 人 员 提 供 对 现 有 系统 的 优化 分 析 手 段 ， 精 准 定位 系统 瓶颈 。 

4) 可 以 出 具 各 类 中 长 期 数据 分 析 统 计 报表 ， 为 各 级 运 维 管理 人 员 日 常 工作 提供 决 
策 依据 。 

5) 将 测量 的 容量 情况 智能 反馈 给 云 管理 平台 核心 模块 ， 指 导 云 管理 平台 核心 模块 
在 部 署 Iaas 和 PaaS 时 的 资源 调配 ， 避 免 出 现 资 源 池 资源 不 足 的 情况 。 

2. 云 平台 容量 管理 集成 接口 

1) 云 平台 容量 管理 通过 集中 监控 平台 获取 性 能 数据 ， 容 量 管 理 平台 不 需要 对 该 类 
数据 进行 二 次 采集 ; 对 于 其 他 非 监 控 数 据 源 ， 可 定制 数据 导入 接口 ， 实 现 数据 的 录入 。 

2) 容量 管理 平台 与 云 管理 平台 核心 模块 集成 ， 将 容量 分 析 数 据 反馈 给 云 管理 平台 
资源 分 配 层 ， 支 持 资 源 分 配 决策 应 用 。 


























8. 3.7 用 户 设计 


从 用 户 权 限 划 分 角度 看 ， 对 于 商业 银行 私有 云 来 说 ， 目 前 云 平 台 可 大 致 分 为 以 下 两 
种 用 户 角 色 ， 见 表 8-2。 用 户 角色 的 划分 也 指导 着 未 来 云 管理 平台 的 应 用 。 
表 8-2 云 平 台 用 户 权限 划分 































































































名 云 管理 员 :最 终 用 户 
云 平台 的 管理 者 ,负责 平台 日 常 维护 .权限 管 
m ; We 
色 描述 | 理 资 源 配置 .服务 目录 .部 团 模 式 定义 等 Bi 
1. 请 求 新 的 服务 计算 .应 用 .网 络 及 存储 
ks 2， 选 择 服务 项 目 
Bs 3、 理 解 价格 及 部 团 实 例 
4 管理 请 求 状态 
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( 续 ) 
名 云 管理 员 :最 终 用 户 
1 启动 /停止 服务 相关 的 服务 器 
服务 实例 2 释放 
操作 2 
扣 4 回顾 价格 及 选择 可 选项 目 
5. 回顾 功能 组 件 
1 开启 .停止 ,恢复 和 暂停 
2. 修改 CPU 和 内 存 
.增加 自 定义 操作 ,如 增加 合 规 、 
ee 3. 增加 自 定义 操作 ,如 增加 会 规 , 配 置 及 各 
份 等 
4. 查看 性 能 图 表 ( CPU 和 内 存 ) 
5 查看 服务 器 配置 
1 查看 存储 资源 
a 2 释放 存储 
存储 操作 3. 将 服务 器 连接 存储 实例 
4 将 服务 器 从 存储 实例 中 断 
1 管理 部 团 服 务 器 的 防火 墙 规则 
网 络 操作 2 在 虚拟 负载 均衡 资源 池 中 增加 或 删除 服 
务 器 
1 服务 的 状态 
服务 控制 台 2 服务 器 的 数量 
3 存储 资源 的 总 数 
面向 所 有 用 户 
1 查看 服务 请 求 的 状态 
服务 概要 | ”2. 杏 看 所 有 服务 实例 的 状态 
3 服务 器 的 数量 
4、 云 架构 中 部 团 服 务 的 位 置 
四 1 云 环境 位 置 的 可 视 化 
资源 视 攻 ee 
三 次 源 视图 |。 2。 快速 连接 云 资源 的 快速 连接 
设 定 明确 设 定 角色 基于 部 团 模 式 和 标识 
1 创建 可 提供 的 服务 
2 明确 服务 提供 的 可 选项 
| 3 定义 岗位 的 部 署 作业 
服务 目录 | 。 4 启用 变更 审批 
5 创建 权利 的 条 目 
6 映射 部 署 模式 
”创建 部 署 模式 
定义 应 用 的 功能 与 组 织 并 关联 
.明确 部 署 的 服务 的 可 选 参 数 
， 分 本 资源 等 
部 署 模式 人 





co Cuw wm 一 








. 明确 网 卡 、 防 火 墙 与 负载 均衡 的 设 定 


标识 主动 部 署 的 部 署 模式 


导入 或 导出 部 署 模 式 




















. 查看 定义 的 部 署 模式 图 表 
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( 续 ) 














[ES 





云 管理 最终 用 户 





ul 


























。 计算 机 资源 

1. 虚拟 和 物理 云 架构 资源 

2. 资源 池 : 集 群 ,资源 池 ,数据 存储 物理 设备 
3. 映射 池 与 网 络 容器 

4. 标识 资源 池 的 分 配 策略 

。 网络 资源 

1. 注册 Pod 

2. 创建 网 络 容器 

3. 管理 区 域 .防火墙 负载 均衡 

4. 映射 网 络 容器 到 角色 
5. 标记 容器 的 放置 策略 
1. 管理 存储 服务 目录 

2. 映射 服务 提供 与 存储 资源 的 映射 


























8.3.8 接口 设计 





云 管理 平台 对 外 需要 提供 三 类 接口 : 

(1) 管理 服务 接口 ”提供 云 平台 各 类 信息 及 资源 对 外 访问 的 接口 ， 用 户 可 利用 该 
接口 定制 应 用 门户 及 展示 界面 。 

(2) 资源 供给 接口 、 云 管理 架构 中 的 各 类 资源 在 池 化 后 ， 将 统一 不 同 异 构 平 台 的 
各 类 管理 及 操作 接口 ， 实 现 抽 象 的 统一 操作 管理 接口 。 

(3) 触发 外 部 调用 接口 、 云 管理 平台 触发 外 部 调用 的 接口 ， 用 户 可 加 入 各 类 触发 
程序 调用 。 

8. 3. 8.1 管理 服务 接口 

通过 管理 服务 接口 可 实现 对 云 管理 平台 内 置 对 象 的 查询 、 创 建 、 删 除 等 操作 ， 也 可 
作为 云 平台 门户 的 集成 接口 。 

8. 3. 8.2 资源 供给 接口 

资源 供给 接口 处 于 资源 管理 层 ， 可 实现 对 下 层 资源 管理 模块 的 调用 ， 如 服务 器 自动 
化 模块 、 网 络 自动 化 模块 、 操 作 自 动 化 调度 模块 。 对 于 第 三 方 的 资源 管理 工具 ， 可 通过 
实现 该 接口 来 完成 与 云 管理 平台 的 整合 。 

8.3.8.3 ”触发 外 部 调用 接口 

调用 外 部 接口 是 云 管理 平台 触发 外 部 调用 的 接口 ， 用 户 可 加 入 各 类 触发 程序 调用 ， 
用 于 实现 对 云 管理 平台 功能 的 定制 化 ， 如 在 VM 创建 时 自动 运行 一 个 用 户 指定 的 外 部 工 
作 流 (AO flow) 、 执 行 脚本 等 ， 并 将 调用 结果 返回 给 云 平台 执行 相应 动作 。 
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第 9 音 
私有 云 安全 设计 


9.1 安全 架构 设计 


9.1.1 安全 分 析 


信息 安全 问题 在 云 计算 问题 出 现 之 前 就 时 已 有 之 ， 但 随 着 云 计算 的 大 力 发 展 和 广泛 
应 用 ， 私 有 云 环境 下 信息 安全 显得 尤为 突出 。 

无 论 是 私有 云 还 是 传统 信息 网 络 都 面临 着 各 种 安全 威胁 ， 主 要 包括 传统 的 拒绝 服务 
攻击 、 应 用 程序 编程 接口 安全 问题 、 内 部 员工 的 恶意 破坏 、 非 法 用 户 对 数据 库 的 非法 访 
问 、 授 权 用 户 的 越权 访问 、 信 息 共 享 技术 导致 的 数据 泄露 、 正 常 网 络 服务 被 动 持 、 密 钥 
管理 机 制 的 不 健全 导致 的 账号 泄露 、 用 户 安 全 防范 意识 薄弱 导致 的 信息 泄露 、 网 络 安全 
基础 设施 不 健全 导致 的 黑客 入 侵 等 一 系列 问题 。 

除 此 之 外 ， 在 私有 云 部 署 实施 后 ， 信 息 安全 还 面临 着 一 些 新 的 挑战 。 

1. 流量 模型 的 转变 

传统 的 企业 流量 模型 相对 比较 简单 ， 各 种 应 用 的 基准 流量 及 突 发 流量 都 是 有 规律 可 
循 的 ， 即 使 对 较 大 型 的 数据 中 心 仍然 可 以 根据 WEB 应 用 服务 器 的 重要 程度 进行 有 针对 
性 的 防护 ， 对 安全 设备 的 处 理 能 力 没有 过 高 的 要 求 。 

而 在 云 计算 环境 下 ， 同 类 型 存储 服务 右 的 规模 以 千 / 万 为 单位 进行 扩展 ， 而 且 基于 
统一 基础 架构 的 网 络 进行 承载 ， 无 法 实现 分 层 规划 、 分 而 治之 ， 因 此 对 安全 设备 提出 了 
更 高 的 性 能 要 求 。 

2. 动态 的 安全 边界 

在 传统 安全 防护 中 有 一 个 很 重要 的 原则 ， 就 是 基于 边界 的 安全 隔离 和 访问 控制 ， 并 
且 强 调 针 对 不 同安 全 区 域 设置 差异 化 的 安全 防护 策略 ， 在 各 区 域 之 间 有 了 明显 的 边界 
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划分 。 

而 在 云 计 算 环 境 下 ， 存 储 和 计算 资源 高 度 整合 ， 基 础 网 络 架 构 统 一 化 ， 安 全 设备 的 
部 署 边界 已 经 消失 ， 这 也 意味 着 安全 设备 的 部 署 方式 将 不 再 类 似 于 传统 的 安全 建设 模 
型 ， 云 计算 环境 下 的 安全 需要 寻找 新 的 部 署 模式 。 

传统 数据 中 心安 全 防护 独立 、 分 层 部 署 、 分 而 自治 ， 其 优点 是 日 常安 全 运 维 、 安 全 
管理 工作 可 以 灵活 分 开 进 行 ， 自 定义 功能 比较 强 ， 但 也 存在 工作 量 大 、 整 体 安全 管理 不 
全 面 的 先天 不 足 。 而 由 于 云 计 算数 据 中 心 数据 流 集中 、 安 全 边界 消失 等 特性 ， 安 全 集中 
管理 是 必然 要 经 历 的 过 程 。 

3. 虚拟 环境 的 网 络 管理 

在 数据 中 心 ， 诸 多 区 域 由 防火 墙 来 划分 ， 过 渡 到 私有 云 环境 之 后 ， 原 有 网 络 的 一 些 
边界 被 打破 了 ， 原 来 可 通过 网 络 设备 控制 彼此 之 间 的 流量 在 私 有 云 环境 下 却 无 法 深入 分 
析 了 。 

因为 在 虚拟 管理 层 里 面 可 以 配置 的 虚拟 网 络 ， 甚 至 修改 整个 云 内 设备 的 拓扑 环境 ， 
在 没有 由 防火 墙 来 划分 区 域 的 环境 下 ， 如 何 去 做 好 网 络 安全 的 保障 ， 如 何 去 分 割 管理 的 
权限 ， 这 将 会 是 一 个 新 的 挑战 。 

4. 接口 统一 标准 化 

对 于 企业 私有 云 而 言 ， 企 业 未 来 必然 会 走向 私有 云 与 公有 云 通 信 甚 至 融合 的 趋势 。 因 
此 ， 标 准 化 工作 是 必须 要 考虑 的 问题 ， 特 别 是 未 来 当 企业 逐渐 走向 混合 云 的 阶段 ， 其 流程 、 
应 用 程序 、 业 务 接口 必然 会 做 出 改变 。 

标准 化 对 于 安全 而 言 ， 通 常 意味 着 便于 管理 和 监控 ; 反之 ,混乱 无 序 的 接口 也 意味 
着 风险 控制 的 难度 加 大 。 

5. 弹性 空间 和 可 扩展 性 

云 计算 实质 上 是 帮助 用 户 实现 即 需 即 用 、 灵 活 高 效 地 使 用 IT 资源 ,与 此 同时 提高 
IT 资源 的 利用 率 ， 缩减 企业 的 全 成 本 。 这 对 于 云 计算 平台 来 说 ， 就 必须 具备 非常 大 的 
弹性 空间 和 良好 的 可 扩展 性 。 

当前 采用 传统 架构 的 产品 无 法 具备 良好 的 扩展 性 ， 而 像 X86 服务 器 、 集 群 存储 产 
品 都 具有 高 度 的 可 扩展 性 ， 能 够 很 好 地 满足 私有 云 对 扩展 空间 的 弹性 需求 。 因 此 ， 实 现 
按 需 增 减 IT 资源 、 架 构 灵 活 多 变 是 私有 云 环 境 的 一 个 重要 标志 ， 对 于 安全 而 言 ， 这 些 
弹性 的 和 可 扩展 的 空间 也 是 风险 陡 增 的 空间 ， 必 须 对 这 些 外 延 的 、 多 变 的 功能 进行 逐一 
的 风险 识别 。 

私有 云 安全 问题 的 本 质 和 传统 的 网 络 信息 安全 问题 没有 实质 区 别 ， 它 只 是 在 传统 网 
络 信息 安全 的 基础 上 有 所 发 展 。 它 们 丝 面 临 着 上 文 所 述 的 问题 ， 本 文 在 考虑 如 上 问题 及 
私有 云 架构 设计 上 ， 也 做 出 了 一 些 更 合理 的 安全 架构 调整 。 























9.1.2 安全 架构 


云 作为 一 种 新 型 计算 模型 ， 它 将 计算 任务 分 布 在 由 大 量 计算 机 构成 的 资源 池上 ， 使 
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各 种 应 用 系统 控制 模型 根据 需要 获取 计算 能 力 、 存 储 空间 和 软件 服务 ， 使 得 云 下 的 安全 
控制 模型 比 传统 的 信息 安全 更 加 复杂 。 因 此 ， 传 统 的 安全 控制 模型 已 不 能 满足 私有 云 的 
设计 ， 本 文 根 据 私有 云 当前 的 需求 和 安全 分 析 ， 设计 出 一 个 更 合理 的 架构 设计 ， 如 图 
9-1 所 示 。 





(Lass | ewe | snae | [Remae] Le | 


| 1 
' 
| 人 | | 
' 运 | 
1 I 
r | 
| I ' 操作 安全 1 
| | | EE 
1 1 1 
1 外 号 | 加 网 络 安 全 1 
| 名 台 1 | 
| 加 | | a 
| 
| ' ' 系统 安全 1 1 1 
| 
! | ee 本 
I | 如 | 











图 9-1 安全 控制 模型 


在 图 9-1 的 安全 控制 模型 中 ， 云 模型 分 为 laaS、PaaS 和 SaaS 三 层 。 

IaaS 包括 硬件 底层 设备 、 虚 拟 中 间 层 和 接口 ; PaaS 包括 中 间 层 、 可 编程 开发 接口 
等 ，SaaS 包括 程序 、 数 据 、 应 用 平台 等 。 

在 此 安全 控制 模型 中 ， 需 要 针对 物理 硬件 、 计 算 和 存储 、 可 信 计 算 的 软 硬 件 平台 、 
计算 机 网 络 通信 、 信 息 处 理 以 及 应 用 程序 做 好 应 有 的 安全 防范 措施 。 

根据 上 述 的 云 安全 模型 设计 ， 理 解 云 计算 模式 之 间 的 关系 和 依赖 性 ， 对 于 理解 私有 
云 计算 的 安全 风险 非常 关键 。IaaSs 是 所 有 去 服务 的 基础 ，PaaSs 建立 在 Iaas 之 上 , 而 
SaaS 又 建立 在 Paas 之 上 。 如 同 云 服务 能 力 是 继承 的 那样 ， 信 息 安 全 风险 和 问题 也 是 可 
继承 的 。 然 而 ， 云 参考 模型 对 于 将 真实 服务 和 某 个 架构 框架 联系 在 一 起 ， 进 而 理解 需要 
进行 安全 分 析 的 资源 和 服务 是 非常 重要 的 。 

以 下 是 三 个 层面 做 好 信息 安全 防护 的 措施 。 

1. Jaas 层 安全 

Iaas 层 主要 包括 计算 机 网 络 基础 设施 、 主 机 、 网 络 设备 、 服 务 器 等 所 有 的 计算 机 硬 
件 平台 。 在 该 层 中 ， 首 先是 将 硬件 资源 抽象 起 来 ， 然 后 将 这 些 硬 件 资源 纳入 整个 基础 设 
施 的 逻辑 节点 中 ， 然 后 向 用 户 提 供 一 个 可 统一 编程 调用 的 应 用 程序 接口 ， 使 用 户 通过 应 
用 程序 对 应 用 程序 编程 接口 进行 调用 ， 以 完成 物理 设备 的 交互 使 用 。 

在 该 层 中 ， 主 要 关注 的 安全 问题 包括 网 络 基础 设施 的 物理 安全 、 环 境 安全 、 主 机 安全 、 
主要 网 络 连 接 设备 安全 、 系 统 的 虚拟 化 安全 等 。laaS 的 服务 提供 商 需 要 对 该 环境 提供 一 些 基 
础 的 公共 安全 保障 ， 需 要 对 用 户 的 数据 安全 或 应 用 安全 提供 一 定 程度 的 安全 保证 等 。 

2.PaaS 层 安全 

PaaS 层 主要 提供 一 个 可 安全 运行 的 平台 以 及 可 以 和 用 户 交 互 的 编程 接口 。 它 是 在 
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IaaS 基础 上 增加 了 一 个 可 用 于 开发 的 应 用 程序 接口 层面 ， 来 完成 将 数据 库 、 数 据 等 集成 
在 一 起 完成 设备 间 信 息 传递 和 进程 间 通 信和 的 一 个 平台 。PaaS 层 的 安全 主要 包括 接口 安 
全 、 运 行 安全 等 。 

3.，SaaS 层 安全 

SaaS 层 主要 是 为 用 户 提 供应 用 程序 的 运行 环境 。 在 这 个 运行 环境 中 ， 用 户 能 够 充 
分 利用 云 服 务 所 提供 的 资源 和 软件 服务 ， 体 验 到 云 服务 便捷 、 高 效 的 服务 ， 并 且 不 必 关 
心 应 用 程序 的 运行 过 程 和 底层 硬件 的 工作 原理 。 

这 一 层次 的 安全 问题 主要 表现 为 软件 的 应 用 环境 安全 ， 包 括 信 息 保密 、 数 据 加 密 方 
法 、 密 钥 管 理 机 制 、 身 份 验证 、 安 全 审计 、 访 问 控制 、 安 全 事件 处 理 、 业 务 连 续 性 等 。 
在 云 计算 的 安全 事件 中 ， 多 数 的 安全 事件 都 发 生 在 SaaS 层 。 

三 个 层次 对 应 的 信息 保护 措施 见 表 9-1。 

表 9-1 信息 保护 措施 






























































服 务 层 安全 问题 对 应 措施 
系统 安全 0 本 0 Vo 
ji 网 络 安 全 e000 0 0 i 定 的 
操作 安全 
a 接口 安全 统一 的 用 户 编程 接口 
运行 安全 加 强硬 件 系 统 和 软件 系统 的 稳定 性 
数据 安全 加 强人 员 管 理 和 安全 行为 审计 
密 钥 安全 先进 的 加 密 机 制 和 严格 的 密 钥 管理 体制 
SaaS 身份 认证 访问 控制 策略 
日 志 安 全 审计 审计 策略 
业务 连续 性 链 路 负载 均衡 .自动 灾难 恢复 机 制 








为 更 有 效 地 保障 云 计算 服务 的 安全 性 ， 除 了 上 述 提 到 的 一 些 措 施 外 ， 还 应 该 结合 云 
计算 的 特点 ， 在 数据 的 完整 性 、 可 用 性 和 高 可 靠 性 方面 进一步 做 好 信息 的 安全 保密 工 
作 ， 在 网 络 身份 认证 、 加 密 算法 研究 、 入 侵 检测 、 虚 拟 专用 网 络 远程 安全 接 入 、 数 据 存 
储 等 方面 加 大 研究 和 投入 ， 构 建 全 面 的 安全 防范 体系 。 


9.2 安全 评估 


9.2.1 安全 管理 价值 





私有 云 的 应 用 使 得 商业 银行 在 系统 的 高 可 用 性 、 提 供 灵 活 弹 性 的 服务 、 提 高 业务 交 
付 效率 、 优 化 开 成 本 等 方面 都 有 了 很 大 的 提升 。 由 于 金融 行业 的 特殊 性 ， 无 论 基于 传 
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统 技术 架构 还 是 引入 私有 云 ， 注 重 安全 一 直 都 是 商业 银行 信息 系统 的 主题 ， 而 云 平台 由 
于 技术 架构 的 重大 变革 给 信息 安全 领域 带 来 巨大 挑战 

1) 在 云 平 台中 运行 的 各 类 云 用 户 没 有 固定 不 变 的 基础 设施 、 没 有 固定 不 变 的 安全 
边界 ， 难 以 实现 用 户 数据 安全 和 隐私 保护 。 

2) 云 服务 所 涉及 的 资源 多 个 管理 者 所 有 ， 存 在 利益 冲突 ， 无 法 统一 规划 部 署 安全 
防护 措施 。 

3) 云 平台 中 数据 与 计算 高 度 集中 ， 安 全 措施 必须 满足 海量 信息 处 理 的 需求 。 

私有 云 在 应 用 的 过 程 中 ,不 尽 如 人 意 的 安全 事件 也 频 有 发 生 ， 比 如 亚马逊 (Ama- 
zon) 的 云 计算 平台 多 次 出 现 服 务 中 断 ， 微 软 的 云 计 算 平 台 也 有 报道 出 现 屏蔽 超过 20h 
的 事故 等 。 因 此 ， 如 何 保障 私有 云 安 全 、 持 续 、 有 效 运 作对 商业 银行 是 一 个 巨大 的 
挑战 。 

对 于 商业 银行 来 讲 ， 应 用 私有 云 的 第 一 步 是 要 建立 被 企业 内 部 认可 的 云 安全 管理 框 
架 , 确立 组 织 基本 有 效 的 安全 管理 策略 和 控制 措施 ， 并 明确 组 织 中 人 员 的 安全 责任 与 
义务 。 

在 建立 符合 商业 银行 自身 实际 的 云 安全 管理 体系 时 ， 不 仅 可 参考 传统 商业 银行 信息 
安全 管理 理论 、IT 服务 管理 ITIL V3 、COBIT 等 理论 ， 还 可 借鉴 CSA、ENISA 云 安全 管 
理 模型 。CSA 和 ENISA 的 云 安全 管理 框架 模型 关注 点 均 包括 了 技术 和 管理 两 类 ， 其 中 
CSA《 云 安全 管理 指南 》 的 内 容 更 加 丰富 ， 在 策略 指导 和 实施 建议 方面 更 具 影 响 力 。 

通过 实施 云 安 全 管理 体系 ， 建 立 严 格 的 安全 管理 策略 和 控制 措施 ， 严 格 按 照 规 程 操 
作 ， 私 有 云 的 安全 性 和 传统 相 比 可 能 在 以 下 方面 更 具 保障 。 

1) 减少 数据 丢失 。 据 统计 ， 全 球 机 场 每 年 都 会 丢失 超过 12000 台 便 携 式 计算 机 ， 
而 又 有 多 少 台 便 携 式 计算 机 采取 了 真正 强大 的 安全 措施 ， 比 如 整个 磁盘 进行 数据 加 密 ? 
含有 重要 数据 的 便携 式 计算 机 一 旦 丢失 ， 则 会 给 个 人 或 企业 其 至 国家 带 来 巨大 的 损失 。 
而 通过 在 云 上 维护 数据 ， 搭 配 强大 的 访问 控制 ， 云 计算 可 以 限制 或 减少 可 能 丢失 的 信 
息 量 。 

2) 即时 换 位 。 如 果 企 业 存储 在 云 中 的 数据 不 幸 受 到 危害 ， 在 数据 中 心 模式 下 ， 首 
先 需要 花费 时 间 向 高 级 管理 层 解释 系统 由 于 意外 事件 而 停止 运行 ， 然 后 再 去 花费 若干 小 
时 的 时 间 尝 试 复制 数据 或 者 修复 损坏 。 在 云 中 ， 则 可 以 在 执行 调查 的 同时 把 数据 转移 到 
另外 一 台 机 器 上 ， 这 对 于 用 户 而 言 是 透明 的 。 

云 安全 不 是 一 个 简单 的 问题 ， 和 云 计算 本 身 一 样 面临 着 各 种 现 有 技术 的 融合 与 创 
新 。 因 此 ， 在 评估 私有 云 的 风险 、 寻 找 应 对 措施 的 过 程 中 ， 需 要 不 断 地 借鉴 过 去 在 安全 
领域 积累 下 来 的 有 效 技术 手段 ， 并 根据 云 计 算 与 传统 的 差异 予以 创新 ， 从 而 摸索 出 一 条 
适合 云 环境 的 安全 之 路 。 














9.2.2 安全 评估 方法 


总 的 来 说 ， 云 安全 评估 与 传统 安全 评估 思路 并 不 冲突 ， 在 很 多 方面 遵循 了 传统 的 安 
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全 风险 评 佑 方法论。 这 一 方面 体现 了 安全 的 本 质 和 适度 安全 的 根本 理念 ; 从 另 一 个 方面 
也 说 明 ， 采 用 云 计 算 技 术 来 建设 或 改造 系统 ， 传 统 安全 理念 和 防护 手段 在 新 的 环境 下 同 
样 有 效 。 

云 安全 评估 是 指 对 于 云 服 务 进 行 的 审计 ， 或 是 通过 云 提供 的 基于 业界 标准 的 方案 进 
行 的 评估 。 对 于 基础 设施 、 应 用 的 传统 安全 评估 以 及 合 规 审 计 ， 业 界 已 有 完备 的 定义 和 
多 个 标准 的 支持 。 安 全 评估 具备 相对 成 熟 的 工具 集 ， 一 些 工 具 已 通过 SecaaS (Security 
as a Service， 安 全 即 服务 ) 的 交付 模式 实现 。 在 SecaaS 交付 模式 下 ， 用 户 可 以 获得 云 计 
算 变 体 的 典型 好 处 ， 即 弹性 扩展 、 几 乎 忽略 不 计 的 安装 部 署 时 间 、 较 低 的 管理 开销 、 按 
使 用 付费 以 及 较 少 的 初始 投资 。 使 用 这 些 工 具 审计 云 计 算 环 境 带 来 了 额外 的 挑战 ， 虽 然 
这 不 是 这 些 工 具 原 本 关注 的 焦点 。 包 括 CSA 在 内 的 多 个 组 织 , 已 经 在 致力 于 一 些 指 南 
定义 方面 的 工作 来 帮助 组 织 和 理解 这 些 额 外 的 挑战 。 

私有 云 的 安全 主要 涉及 数据 计算 安全 、 存 储 安全 、 传 输 安全 和 安全 风险 控制 策略 等 
四 个 方面 ， 可 以 从 这 四 个 方面 考虑 云 计 算 的 安全 评估 办 法 。 

1) 数据 计算 安全 。 对 于 利用 统一 平台 实现 的 计算 ， 要 保证 平台 的 安全 。 

2) 数据 存储 安全 。 在 云 环 境 下 ， 数 据 存储 是 建立 在 网 络 上 的 高 效 分 布 式 存储 。 如 
何 确保 数据 不 发 生 泄露 以 及 对 托管 数据 进行 备份 和 恢复 等 都 是 需要 考虑 的 。 

3) 数据 传输 安全 。 对 于 数据 传输 ， 一 是 如 何 确保 数据 在 网 络 传输 过 程 中 不 被 窜 
取 ; 二 是 是 否 有 网 络 接 入 设备 的 备份 ， 以 满足 计算 和 存储 的 需要 等 。 

4) 安全 风险 控制 策略 。 安 全 风险 控制 策略 是 用 来 规避 云 计算 风险 的 方法 ， 包 括 技 
术 方 法 和 管理 方法 。 由 于 云 框架 的 不 同 ， 所 以 其 安全 管制 策略 也 各 自 不 同 。 

对 私有 云 进行 安全 评 佑 ， 可 基于 对 其 安全 问题 的 分 析 ， 借 鉴 传统 的 信息 安全 风险 评 
估 方 法 ,结合 私有 云 的 特点 ， 从 资产 、 脆 弱 性 、 威 胁 、 安 全 措施 、 风 险 、 残 余 风 险 、 安 
全 需求 、 标 准 化 等 要 素 进 行 探 讨 。 

1) 资产 : 是 指 私有 云 中 的 各 种 资源 。 一 般 来 说 ， 资 产 价 值 越 高 ， 业 务 战略 要 求 越 
高 ， 风 险 越 大 。 

2) 脆弱 性 : 是 指 私 有 云 中 每 一 个 资产 存在 的 漏洞 。 

3) 威胁 : 是 指 和 有 云 中 因 结构 、 技 术 、 管 理 等 原因 而 引起 安全 问题 的 可 能 。 

4) 安全 措施 : 是 指针 对 引起 私有 云 安 全 事故 的 原因 而 采取 的 技术 、 管 理 手段 。 

5) 风险 : 是 指 私有 云 存在 安全 事故 的 可 能 性 。 

6) 残余 风险 : 是 指 采取 安全 措施 后 ， 私 有 云 存在 安全 事故 的 可 能 性 。 

7) 安全 需求 : 为 达到 业务 战略 的 目标 ， 而 对 私有 云 安全 提出 的 要 求 〈 保 护 等 级 ) 。 

8) 标准 化 : 当前 私有 云 缺 乏 统一 的 计算 标准 ， 各 个 云 产 品 在 互 操 作 上 难以 兼容 。 
为 了 更 方便 、 安 全 、 快 捷 地 在 不 同 云 之 间 实 现 切换 和 数据 迁移 ， 同 时 避免 服务 提供 商 对 
用 户 的 锁定 ， 以 及 在 出 现 安全 事件 时 进行 证 据 采 和 集 和 责任 划分 ， 有 必要 对 云 计算 服务 实 
现 标 准 化 。 

以 上 要 素 之 间 的 关系 是 : 首先 资产 拥有 者 根据 其 重要 程度 和 标准 化 的 规定 ， 要 求 某 
资产 应 达到 的 保护 等 级 ,根据 资产 因 其 脆弱 性 受到 威胁 的 风险 ， 评 估 风 险 级 别 ， 并 制定 
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相应 安全 措施 ， 以 对 资产 的 脆弱 性 进行 弥补 ,降低 威 胁 利用 资产 脆弱 性 发 生 安全 事件 的 
可 能 。 如 果 残 余 风险 未 达到 保护 等 级 的 要 求 ， 则 继续 评估 并 修改 安全 措施 ， 直 到 满足 对 
资产 的 保护 等 级 要 求 。 


9.3 安全 防护 


私有 云 一 般 部 署 在 企业 网 内 部 ， 主 要 采用 大 量 的 虚拟 化 资源 蔡 代 传统 的 物理 资源 ， 
达到 实现 资源 共享 的 目的 。 结 合 前 文 阐述 的 安全 架构 设计 ， 私 有 云 计算 数据 中 心 所 需 管 
理 与 使 用 到 的 技术 资源 安全 ， 需 要 重点 关注 如 下 四 个 方面 的 内 容 ， 分 别 是 网 络 安全 、 系 
统 安全 、 操 作 安全 和 安全 事件 监控 和 处 置 。 


9.3.1 网 络 安全 


传统 模型 下 的 网 络 安全 是 指 网 络 系统 的 硬件 、 软 件 及 其 系统 中 的 数据 受到 保护 ， 不 
因 偶 然 的 或 者 恶意 的 原因 而 遭受 破坏 、 更 改 、 汽 露 ， 系 统 能 够 连续 、 可 靠 、 正 常 地 运 
行 ， 网 络 服务 不 发 生 中 断 。 而 私有 云 下 的 网 络 安全 结合 了 虚拟 化 的 概念 ， 增 添 了 新 的 风 
险 变数 ， 下 文 将 从 安全 域 管理 、 访 问 控制 及 安全 防护 三 个 方面 来 考虑 私有 云 下 的 网 络 安 
全 防护 措施 。 

1. 安全 域 管理 

在 传统 网 络 安全 管理 中 ， 网 络 安全 架构 通过 分 层 规划 、 分 级 建设 ， 安 全 区 域 清 晰 明 
了 ， 安 全 管理 方式 可 以 按照 业务 需求 对 不 同类 型 的 系统 方便 定义 安全 级 别 ; 然而 在 云 安 
全 域 管理 过 程 中 ， 由 于 业务 资源 聚集 、 基 础 网 络 架 构 一 体 化 ， 安 全 边界 消失 ， 传 统 网 络 
安全 设备 (如 防火 墙 ) 很 难 从 实体 上 实现 隔离 ， 无 法 满足 云 安 全 域 管理 。 在 网 络 架 构 
一 体 化 的 云 网 络 环境 ， 需 要 考虑 使 用 新 型 的 虚拟 交换 技术 、 虚 拟 防火 墙 技术 。 

建议 措施 : 

(1) 域 分 级 ” 即 按照 每 个 区 域 部 署 的 主机 功能 及 涉 密 等 级 划分 类 别 ， 不 同等 级 间 
必须 采取 相应 的 安全 防护 策略 。 

(2) 域 间 控 制 ” 安 全 等 级 不 同 的 域 互 访 ， 必 须 部 署 有 效 的 安全 策略 和 防护 措施 。 

(3) 最 小 授权 原则 ”安全 区 域 间 的 防护 尽 可 能 按照 安全 最 小 授权 原则 。 

(4) 整合 系统 接 入 在 保证 网 络 系统 的 各 种 互联 需求 的 有 效 提供 的 前 提 下 对 安全 
域 的 边界 进行 合理 的 整合 ， 对 系统 接 入 进行 有 效 的 整理 和 归并 ,减少 接 入 数量 ,规避 边 
界 不 清 、 连 接 混乱 等 问题 。 

2. 访问 控制 

网 络 访问 控制 是 以 某 种 途径 批准 系统 用 户 的 访问 能 力 及 访问 范围 ， 主 要 作用 是 防止 
非法 的 主体 进入 受 保护 的 网 络 资源 ， 允 许 合法 用 户 访 问 受 保护 的 网 络 资源 。 防 止 合法 的 
用 户 对 受 保护 的 网 络 资源 进行 非 授 权 的 访问 。 

198 
































私有 云 安全 设计 | 第 9 章 | 





在 私有 云 环境 下 ， 边 界 的 模糊 使 得 传统 的 访问 控制 手段 需要 加 以 调整 ， 因 此 ， 建 议 
重新 规划 和 严格 执行 细 粒 度 的 访问 控制 策略 。 

建议 措施 : 

(1) 就 近 防 护 原 则 当 通 信 系 统 之 间 在 物理 上 或 逻辑 上 可 经 过 多 层 防 火 墙 时 ， 应 
优先 选择 在 提供 网 络 服务 的 最 近 端 控制 点 上 部 署 访问 策略 。 

(2) 策略 从 严 原则 具有 不 同等 级 安全 访问 控制 策略 的 双方 进行 通信 或 合并 部 署 
时 ， 安 全 策略 应 遵循 控制 相对 严格 一 方 的 标准 。 

(3) 缺 省 禁止 原则 防火墙 缺 省 基本 访问 控制 策略 是 拒绝 所 有 访问 ， 在 此 基础 上 
逐步 根据 合理 的 应 用 需要 开放 最 小 化 的 地 址 和 端口 。 

(4) 特例 审慎 审批 原则 对 于 业务 需求 确实 无 法 满足 安全 控制 要 求 的 情况 ， 开 通 
访问 需求 需要 经 特别 案例 分 析 后 经 主管 部 门 审批 执行 ， 并 落实 整改 计划 或 采用 其 他 技术 
控制 手段 作为 补偿 手段 。 

3. 安全 防护 

网 络 安全 防护 系统 由 外 向 内 分 层 保护 商业 银行 信息 资产 ， 为 体现 纵深 防御 思想 ， 应 
为 互联 网 安全 提供 DDOS ( Distribated Denial of service， 分 布 式 拒绝 服务 攻击 ) 防护 、 
入 侵 检测 系统 (Intrusion Detection Systems，IDS) 防护 、 防 火 墙 、 内 网 漏洞 扫描 、 安 全 
加 固 等 服务 。 

建议 措施 : 

(1) 部 署 入 侵 检测 系统 和 人 侵 检测 系统 应 部 署 在 流入 数据 的 最 前 端 ， 并 能 检测 到 
所 有 访问 私有 云 的 流量 旁 路 方式 接 人 网 络 环境 ， 优 先 选 择 流 量 镜 像 方式 进行 检测 。 

(2) 部 署 预防 分 布 式 拒绝 服务 攻击 系统 预防 分 布 式 拒绝 服务 攻击 系统 应 部 署 在 
被 保护 系统 数据 链 路 的 最 前 端 ， 备 用 旁 路 部 署 于 数据 链 路 上 ， 以 流量 镜像 方式 对 数据 包 
进行 分 析 。 

(3) 定期 执行 安全 分 析 ”应 根据 内 网 系统 的 重要 性 和 遭受 攻击 的 可 能 性 进行 资产 
排序 ， 定 期 对 高 风险 资产 进行 有 效 的 内 网 漏洞 扫描 、 外 网 渗透 测试 及 安全 加 固 等 操作 ， 
并 及 时 跟踪 相应 的 风险 完成 及 时 的 整改 。 

(4) 引入 虚拟 化 防火 墙 产品 ”在 私有 云 环 境 下 ， 应 结合 虚拟 化 防火 墙 等 新 兴 产 品 
将 安全 防护 的 触角 深入 到 虚拟 化 网 络 内 网 ， 使 网 络 边 界 模 糊 导致 流量 不 可 见 再 次 清晰 起 
来 ， 为 安全 防护 提供 助力 。 












































9.3.2 系统 安全 


虚拟 化 技术 是 实现 云 计算 的 主要 手段 ， 是 云 计 算 框架 的 基础 ， 通 过 虚拟 化 技术 ,在 
云 环境 下 实现 资源 的 有 效 利 用 ， 虚 拟 化 环境 的 系统 安全 仍 是 首要 关注 点 。 虚 拟 资 源 的 系 
统 安 全 主要 从 Hypervisor 安全 、 虚 拟 机 镜像 安全 、vCenter 安全 三 个 方面 予以 考虑 。 

1. Hypervisor 安全 

Hypervisor 是 虚拟 环境 中 的 “元 ”操作 系统 ， 由 于 其 可 以 控制 在 服务 器 上 所 运行 虚 
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拟 机 的 方方面面 ， 所 以 成 为 需要 保护 的 对 象 。 其 安全 性 的 高 低 直 接 影响 到 虚拟 机 安全 ， 
因此 在 虚拟 机 管理 方面 应 从 Hypervisor 层 出 发 ， 实 现 纵深 式 的 安全 防护 。 

建议 措施 : 

1) 依照 传统 模式 下 固有 的 口令 安全 、 用 户 安 全 、 权 限 安 全 等 原则 对 Hypervisor 层 
落实 相应 的 安全 要 求 。 

2) 制定 Hypervisor 层 特有 的 安全 参数 配置 要 求 ， 并 定期 对 其 进行 核查 和 加 固 。 

3) 使 用 集中 式 虚拟 化 管理 系统 进行 管理 ， 同 时 建立 虚拟 化 管理 流程 来 防范 误 操 
作 、 错 误 配 置 等 安全 问题 。 

4) 对 虚拟 机 进行 跨 Hypervisor 迁移 时 要 进行 适时 监控 、 审 计 和 告警 ， 防 止 违 规 行 
为 发 生 。 

2. 虚拟 机 镜像 安全 

虚拟 机 镜像 是 为 客户 提供 的 “机 器 ”实体 。 当 虚拟 机 处 于 休眠 状态 或 关机 状态 时 ， 
很 容易 被 算 改 或 修改 ， 对 于 这 个 问题 ,需要 对 虚拟 机 镜像 进行 加 密 ， 同 时 与 管理 手段 、 
审计 跟踪 手段 相 结合 ， 以 防止 正在 运行 的 虚拟 机 镜像 “逃逸 ， 避 免 攻 击 者 访问 到 虚拟 
机 快照 中 的 数据 造成 恶意 损坏 而 未 被 及 时 发 现 。 

每 次 部 署 新 镜像 时 需要 创建 自 定 义 镜像 使 终端 用 户 可 以 自己 安装 所 需要 的 组 件 。 而 
对 于 私有 云 而 言 ， 多 种 用 途 的 虚拟 机 镜像 是 安全 着 力 的 关键 点 ， 如 何 做 到 虚拟 机 镜像 的 
安全 保护 ， 很 大 程度 决定 了 是 和 否 能 从 源头 控制 虚拟 化 环境 下 虚拟 机 的 风险 。 

建议 措施 : 

1) 虚拟 机 镜像 依照 传统 模式 下 各 类 操作 系统 的 安全 配置 要 求 进行 加 固 。 

2) 制定 虚拟 化 层 的 独 有 的 安全 参数 配置 要 求 ， 并 定期 对 其 进行 核查 和 加 固 。 

3) 对 虚拟 机 镜像 文件 进行 加 密 和 完整 性 校 验 ， 防 止 静 置 的 镜像 文件 遭 到 甸 取 导致 
言 息 泄露 ， 也 防止 遭 到 恶意 修改 。 

4) 虚拟 机 的 安装 严格 按照 事先 进行 安全 加 固 和 检查 的 镜像 执行 标准 化 安装 。 

5) 数据 迁移 后 应 对 虚拟 机 数据 进行 销毁 ， 必 要 时 采取 磁盘 报废 等 最 佳 实践 措施 。 

3.vCenter 安全 

诸如 VMware vCenter Server 之 类 的 云 管理 平台 是 业界 现 有 的 成 型 的 商业 化 虚拟 化 集 
中 管理 解决 方案 。 私 有 云 管理 方 借助 其 高 级 功能 ， 可 以 对 虚拟 环境 进行 最 精确 的 了 解 、 
主动 管理 和 扩展 ; 也 可 以 轻松 地 对 其 进行 扩展 以 实现 与 物理 环境 的 端 到 端 集成 ， 并 且 可 
以 在 此 基础 上 构建 自由 的 私有 云集 中 管理 架构 。 

无 论 是 利用 成 型 的 商业 云 管理 平台 ， 还 是 开发 自 有 的 特色 云 管理 平台 ， 如 何在 最 大 
化 地 利用 集中 的 自动 化 部 署 管理 的 同时 进行 精细 的 权限 划分 并 得 到 权限 控制 是 安全 的 一 
大 挑战 。 

建议 措施 : 

1) 明确 细 化 的 访问 控制 。 通 过 可 配置 的 分 层 组 定义 和 精确 控制 的 权限 ， 确 保 云 环 
境 安全 ， 避 免 遭 受权 限 滥用 风险 ， 从 而 对 必要 的 核心 权限 进行 多 次 授权 控制 。 

2) 保护 vCenter Server 数据 库 。vCenter 数据 库 是 存放 与 配置 数据 和 其 他 数据 的 地 
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方 ， 其 中 包括 角色 、 许 可 权 、 事 件 、 任 务 、 性 能 数据 、 数 据 中 心 信息 、 集 群 信息 、 资 源 
池 信 息 以 及 其 他 更 多 信息 。 

3) 记录 审核 信息 。 保 留 重大 配置 的 更 改 以 及 发 起 这 些 更 改 的 管理 员 记 录 ， 事 后 导 
出 报告 以 进行 事件 跟踪 。 








9.3.3 操作 安全 





云 计算 数据 中 心 操作 管理 是 云 服 务 正常 提供 的 一 个 基础 保障 措施 ， 大 资产 、 大 数据 
对 云 计算 中 心 有 序 运营 提出 了 更 高 的 要 求 ， 从 操作 角度 提出 的 云 计算 数据 中 心 需要 重点 
关注 以 下 几 个 方面 。 

1. 人 员 安 全 管理 

运 维 人 员 是 数据 中 心 运 维 管理 体系 的 基础 。 一 个 良好 的 数据 中 心 管理 体系 ， 应 有 合 
适 的 技术 和 管理 人 员 。 伴 随 数据 中 心 规模 的 扩张 ， 相 应 的 人 员 安 全 问题 越 来 越 多 ， 比 如 
私自 泄露 敏感 数据 、 盗 取 用 户 数据 等 人 员 管 理 带 来 的 安全 问题 ， 所 以 云 服务 管理 需要 关 
注 云 计算 数据 中 心 内 部 人 员 安 全 管理 。 

建议 措施 : 

1) 对 核心 岗位 新 人 职员 工 进 行 细致 的 岗 前 培训 考核 、 风 险 意 识 培训 、 签 署 保密 
协议 。 

2) 对 核心 岗位 在 职员 工 进 行 在 岗 评 估 、 岗 位 轮 动 ， 及 时 发 现存 在 的 操作 风险 
问题 。 

3) 对 核心 岗位 离职 员工 即刻 清除 所 有 信息 资产 的 管理 权限 。 

2. 身份 与 权限 管理 

在 传统 模型 下 ， 企 业 或 多 或 少 已 经 建立 起 了 较为 完善 的 员工 身份 和 访问 权限 管理 的 
控制 系统 ， 然 而 伴随 着 云 计 算 模 式 的 发 展 ， 原 有 模式 下 的 系统 或 多 或 少 也 出 现 了 不 适 配 
的 情况 ， 如 何 结合 云 计算 特 性 优化 现 有 身份 及 权限 管理 系统 是 操作 安全 把 控 的 重要 
一 环 。 

建议 措施 : 

1) 应 执行 实名 制 用 户 身 份 管理 ， 出 现 相关 的 操作 风险 可 以 及 时 定位 到 人 ， 及 时 
处 置 。 

2) 应 减少 用 户 接 触 Hypervisor、 云 管理 平台 、 虚 拟 机 管理 口令 的 机 会 ， 结 合 传 统 
口令 集中 管理 模式 ， 探 索 集 中 管理 私有 云 下 各 层次 管理 口令 的 技术 手段 。 

3) 应 遵循 最 小 化 权限 原则 进行 细致 的 权限 授予 和 审批 ， 对 于 云 管理 平台 及 Hyper- 
visor 层 的 关键 账户 权限 实施 严格 的 职责 分 离 、 进 行 审慎 发 放 。 

3. 操作 识别 与 管控 

在 私有 云 环境 下 ， 对 于 云 管理 平台 或 者 Hypervisor 层 的 不 当 操作 可 能 影响 几 十 甚至 
上 百 台 虚拟 机 ， 在 这 样 的 衍生 风险 下 ， 应 着 力 推动 精细 化 的 操作 识别 和 相应 的 管控 
系统 。 
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建议 措施 : 

1) 在 设计 阶段 辨识 高 风险 操作 指令 或 步骤， 逐 级 区 分 禁止 操作 、 授 权 操作 、 和 常规 
操作 等 多 层次 类 别 。 

2) 通过 技术 手段 对 非 紧急 场景 下 的 禁止 操作 予以 阻 断 和 中 止 ， 避 免 操 作 性 失误 带 
来 的 衍生 风险 。 

3) 通过 技术 手段 对 授权 操作 指令 或 步骤 执行 时 ， 引 入 多 次 授权 管控 的 方式 和 控制 
不 当 操作 。 

4. 审计 追 淹 

在 日 常 运 维 中 ， 可 能 出 现 各 种 违规 操作 或 恶意 操作 ， 这 类 操作 在 云 环境 下 的 破坏 性 
将 演化 扩大 ， 不 断 完 善 审计 日 志 的 记录 粒度 和 检阅 频 度 ， 有 助 于 在 出 现 操作 风险 后 及 时 
定位 相关 人 员 和 确定 恢复 动作 。 

建议 措施 : 

1) 根据 5W (5 个 W 分别 指 When、Where、Who、How 和 What) 原则 记录 各 类 用 
户 操 作 行 为 。 

2) 明确 审计 日 志 的 留存 期 限 和 轮转 机 制 ， 并 做 到 关键 日 志 的 异地 存放 ， 防 止 数 据 
覆盖 、 丢 失 而 出 现 的 监控 真空 。 

3) 明确 审计 日 志 的 调 阅 频 度 、 检 查 范 围 和 违规 惩处 措施 ， 对 违规 或 恶意 操作 行为 
起 到 警示 作用 。 














9.3.4 安全 事件 监控 和 处 置 


相对 于 传统 数据 中 心安 全 事件 响应 来 说 ， 云 计算 的 本 质 使 得 当 发 生 安全 事件 、 数 据 
破坏 或 其 他 需要 调查 和 采取 行动 该 找 谁 时 显得 更 难以 确定 。 为 了 满足 相同 汇报 责任 的 需 
求 的 变化 ， 需 要 修改 标准 安全 事件 响应 机 制 。 与 此 同时 ,标准 化 部 署 的 IaaS 、PaaS、 
SaaS 也 给 安全 事件 的 定位 和 处 置 提供 了 便利 。 因 此 ， 建 立 一 个 良好 的 安全 事件 响应 流 
程 和 机 制 对 于 云 计算 环境 来 说 显得 格外 重要 。 

建议 措施 : 

1) 结合 奥 情 监控 、 客 服 中 心 投诉 等 多 途径 ， 配 合 网 络 安全 、 系 统 安 全 、 操 作 安 全 
建立 纵向 的 安全 事件 监控 体系 。 

QD 利用 网 络 层面 部 署 的 人 侵 检测 系统 、 分 布 式 拒绝 服务 攻击 防护 系统 、 防 火 墙 筑 
起 外 层 第 一 道 防线 ， 对 各 类 系统 监控 的 指标 出 现 异 动 ， 迅 速 联合 网 络 运 维 团队 定位 和 修 
复 问 题 。 

G@) 利用 系统 层面 运行 的 漏洞 扫描 工作 、 安 全 配置 检查 筑 起 第 二 道 防线 ， 对 漏 扫 发 
现 目标 虚拟 机 漏洞 和 出 现 的 不 当 配 置 ， 从 虚拟 机 镜像 为 源头 出 发 整改 和 加 固 ， 并 从 Hy- 
pervisor 、 云 管理 平台 和 虚拟 机 三 个 层面 进行 核实 和 整改 跟 进 。 

(3 利用 操作 层面 的 运 维 风险 管理 系统 筑 起 第 三 道 防线 ， 对 于 运 维 操作 层面 的 违规 
操作 及 时 发 现 、 警 示 和 拦截 ， 将 内 部 操作 风险 降 到 最 低 ， 并 结合 风险 意识 培训 不 断 强化 
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运 维 人 员 的 风险 意识 。 

2) 联合 私有 云 运 维 团队 ， 建 立 自 动 化 的 检测 与 恢复 机 制 。 利 用 私有 云 环境 下 虚拟 
机 部 署 的 一 致 性 ， 能 够 建立 起 统一 的 问题 定位 、 取 证 、 分 析 机 制 ， 在 出 现 安全 事件 时 能 
够 与 私有 云 运 维 团队 进行 快速 的 联动 ， 通 过 自动 化 脚本 收集 到 一 致 的 日 志 信 息 供 安 全 防 
护 团 队 分 析 ， 也 能 够 利用 同样 的 技术 手段 对 发 现 的 各 类 缺陷 进行 快速 地 修复 。 

3) 抽取 事件 经 验 和 技术 发 展 态势 ， 反 向 推动 网 络 安全 、 系 统 安 人 全、 操作 安全 等 策 
略 和 技术 手段 向 前 发 展 ， 减 少 系 统 面 临 的 各 类 风险 。 
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10.1 资源 全 生命 周期 管理 


10.1.1 资源 管理 生命 周期 





云 服 务 在 本 质 上 是 以 服务 的 方式 为 用 户 提供 各 种 能 力 ， 包 括 计算 能 力 、 存 储 能 力 和 
网 络 能 力 ， 而 这 些 能 力 的 建设 又 依托 于 资源 ， 包 括 计算 资源 、 存 储 资源 、 网 络 资源 以 及 
环境 资源 。 建 行 云 管理 平台 的 资源 全 生命 周期 管理 是 以 资源 作为 管理 对 象 ， 从 系统 的 整 
体 目 标 出 发 ， 在 满足 安全 、 效 能 的 前 提 下 追求 资产 全 生命 周期 成 本 最 优 ， 使 得 资产 在 整 
个 生命 周期 中 得 到 高 效 、 充 分 、 合 理 的 利用 。 

建行 云 管理 平台 的 全 生命 周期 管理 包括 规划 、 纳 管 、 申 请 、 分 配 、 运 维 以 及 回收 六 
大 环节 ， 如 图 10-1 所 示 。 

1. 资源 规划 

数据 中 心 会 定期 组 织 专 家 对 资源 使 用 情况 进行 分 析 和 规划 ， 资 源 规 划 的 内 容 包 括 应 
用 资源 、 计 算 资源 、 存 储 资源 、 网 络 资源 和 云 服务 。 应 用 资源 指 的 是 数据 中 心 所 运 维 的 
应 用 系统 及 其 对 外 的 服务 能 力 ， 所 有 应 用 系统 在 开发 之 前 均 需 审核 其 非 功 能 性 需求 ， 在 
上 线 之 前 ， 均 需 根 据 其 非 功 能 性 需求 评估 所 需要 的 计算 资源 、 存 储 资源 以 及 网 络 资源 ， 
而 评估 所 需 资源 均 需 通过 数据 中 心 专家 团队 的 审核 后 才能 申请 ， 这 些 被 审核 通过 后 的 所 
需 资源 也 会 及 时 更 新 至 云 管理 平台 中 ， 数 据 中 心 资源 管理 员 可 以 通过 目前 的 资源 拥有 情 
况 和 资源 使 用 情况 规划 资源 采购 计划 ， 而 云 服务 管理 员 则 根据 资源 所 需 供给 模式 来 规 
划 、 设 计 和 开发 云 服 务 。 

2. 资源 纳 管 

资源 被 采购 后 ， 通 过 登记 入 库 、 上 架 、 上 电 、 入 池 等 环节 被 云 管理 平台 纳 管 ， 而 只 

205 




















| 商业 银行 私有 云 设计 与 实现 


。 应 用 下 线 
。 配置 清理 
。 资源 回收 





。 应 用 发 布 管理 
。 扩容 管理 
。 系统 维护 
。 日 常 巡 检 














图 10-1 资源 管理 生命 周期 





有 被 纳 管 的 资源 才能 被 分 配 。 

3. 资源 申请 

用 户 在 申请 资源 时 ， 需 要 注册 应 用 系统 下 物理 部 署 单元 的 相关 部 署 信息 ， 如 该 部 署 
单元 是 WEB、AP 还 是 DB ， 是 在 哪个 网 络 区 域 ， 需 要 部 署 在 哪个 数据 中 心 ， 平 台 类 型 
是 X86、AIX 还 是 HPUX 等 。 注 册 完 部 署 单元 后 ， 即 可 通过 云 服务 目录 选择 相应 的 云 服 
务 申请 资源 ， 当 云 服 务 申 请 被 审批 通过 后 即 可 进入 分 配 环节 。 

4. 资源 分 配 

建行 私有 云 的 资源 是 动态 分 配 的 ， 即 根据 目前 私有 云 内 的 资源 整体 容量 使 用 情况 、 
用 户 的 资源 需求 以 及 资源 分 配 策略 动态 地 选择 分 配 资源 ， 比 如 ， 用 户 需 要 一 套 AIX_ 
ORACLE_RAC 服务 器 ， 云 管理 平台 会 自动 地 在 AIX 资源 池 中 选择 两 台 资 源 使 用 率 最 低 
的 AIX 物理 机 ， 在 这 两 台 AIX 服务 器 上 按照 用 户 资源 需求 分 别 安 装 Power 虚拟 机 和 Ora- 
cle RAC 应 用 形成 一 套 AIX_ORACLE_RAC 服务 器 提供 给 用 户 。 云 管理 平台 除了 支持 自 
动 化 地 动态 分 配 资源 ， 还 要 支持 资源 管理 员 手 工分 配 ， 以 满足 部 分 用 户 的 特殊 需求 。 

5. 日 常 运 维 

资源 被 分 配 后 ， 即 进入 日 常 运 维 管理 ， 包 括 应 用 发 布 管理 、 日 常 巡 检 、 系 统 维护 和 
扩容 管理 等 ， 而 在 日 常 运 维 中 ， 资 源 的 相关 配置 信息 和 运行 日 志 都 会 得 到 管理 。 

6. 资源 回收 

当 应 用 系统 需要 下 线 时 ， 用 户 需 提交 应 用 下 线 申 请 ， 云 管理 平台 会 自动 化 地 清除 应 
用 信息 、 清 理 配置 信息 并 将 资源 回收 至 资源 池 中 。 当 资源 出 现 故 障 或 者 过 了 维 保 期 需要 
下 线 时 ， 资 源 管 理 员 也 可 通过 资源 下 线 流程 完成 资源 回收 、 下 电 、 下 架 及 退 库 等 操作 。 











10.1.2 资源 信息 库 


资源 信息 库 是 整个 云 计算 平台 的 核心 数据 ， 用 于 存放 所 有 资源 信息 和 配置 信息 ， 以 
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及 资源 在 全 生命 en 交 言 息 库 的 管辖 范围 为 数据 中 心 的 环 
境 信息 /4 便 件 设 备 信 息 /vv ~、 软件 信息 心 以 及 软 资产 十 | 息 等 9 资 资源 信 息 库 支持 可 动态 添加 类 及 
属性 ， 便 于 日 后 的 数据 扩展 。 











10.1.3 资源 管理 流程 





传统 资源 管理 失败 的 一 个 很 大 原因 在 于 把 资源 管理 视 为 一 个 资源 记录 的 工具 ， 大 量 
的 资源 信息 完全 靠 人 员 上 自觉 录入 ， 而 且 这 些 录入 工作 是 十 分 繁琐 的 ， 所 以 信息 经 常 得 不 
到 及 时 更 新 ， 导 致 数据 准确 性 不 高 ， 运 维 人 员 越 来 越 不 愿意 从 资源 信息 库 中 获取 资源 信 
息 ， 运 维 人 员 也 失去 了 更 新 资源 信息 库 的 动力 ， 从 而 进入 一 种 恶性 循环 之 中 ， 最 终 导致 
资源 信息 库 的 数据 完全 失真 。 

建行 云 管理 平台 在 设计 之 初 就 意识 到 资源 信息 如 果 不 能 被 使 用 和 及 时 更 新 ， 就 无 法 
保证 资源 信息 的 准确 性 ， 所 以 建行 云 管理 平台 对 资源 信息 进行 了 一 一 分 析 ， 可 以 通过 自 
动 化 采集 或 更 新 数据 来 保证 其 准确 性 ， 必 须 通 过 人 工 录 入 的 数据 则 通过 流程 来 保证 资源 
言 息 的 准确 性 

资源 管理 全 生命 周期 流程 图 如 图 10-2 所 示 。 






































产生 1 
全 斯 设备 安装 上 线 前 
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本 
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' 1 应 用 注册 
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下 Emma Rh Wm FE JS 二 下 吉 大 东 二 下 订 志 二胡 ES 二 





1) 资产 采购 : 资产 的 采购 通过 ERP (Enterprise Resource Planning ， 企 业 资 源 计 划 ) 
系统 的 采购 流程 实现 ， 采 购 完 成 后 即 进入 资产 接收 流程 。 

2) 接收 : 接收 广 商 送 货 ， 进 行 资 源 验收 并 入 库 。 

3) 上 架 加 电 : 资源 入 库 后 ， 即 可 进行 上 架 加 电 ， 资 源 进入 资源 池 。 

4) 入 池 : 资源 上 架 加 电 后 ， 需 要 先 纳 管 至 资源 池 后 才 可 被 分 配 。 
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5) 设备 申请 : 资源 分 发 的 触发 流程 为 设备 申请 服务 请 求 。 

6) 分 发 : 用 户 通 过 服务 请 求 申请 资源 ， 云 管理 平台 自动 分 发 资源 。 

7) 迁移 申请 : 物理 迁移 的 触发 流程 为 迁移 申请 服务 请 求 ， 该 请 求 进 一 步 经 过 变更 
管理 审批 执行 后 ， 更 新 资源 环境 信息 。 

8) 变更 管理 : 日 常 资源 使 用 变更 操作 管理 流程 。 

9) 配置 管理 : 资源 进入 运行 状态 后 的 信息 维护 主要 通过 配置 管理 流程 实现 ， 配 置 
管理 流程 对 资源 信息 库 的 维护 是 通过 变更 管理 流程 来 执行 的 。 

10) 回收 下 架 : 用 户 通 过 服务 请 求 申 请 资源 回收 ， 如 无 需 下 架 ， 则 资源 回收 至 资 
源 池 ; 如 需 下 架 ， 则 移出 机 房 ， 返 回 库存 。 

11) 退 库 申请 : 资源 回收 下 架 的 触发 流程 为 退 库 申请 服务 请 求 。 

12) 报废 : 根据 ERP 资产 报废 流程 要 求 ， 处 置 资源 ， 更 新 资源 状态 信息 。 

13) ERP: 资产 报废 及 财务 资产 盘点 的 触发 流程 为 ERP 系统 。 

14) 资源 管理 : 在 资源 管理 的 角度 对 库存 及 使 用 中 的 资源 进行 管理 。 





10. 1.4 采集 库 


为 了 提升 资源 信息 库 的 自动 化 率 ， 设 计 采 集 库 作为 云 管理 平台 的 重要 组 成 部 分 ， 负 
责 各 种 信息 的 自动 采集 ， 例 如 服务 器 、 存 储 、 网 络 等 各 方面 的 信息 采集 ， 以 保证 资源 信 
息 库 的 数据 准确 性 。 

采集 库 主 要 采集 的 信息 有 : 

1) 逻辑 服务 器 主要 信息 ， 例 如 序列 号 、 卫 地 址 、CPU 情况 、 内 存 情况 、 磁 盘 信 
息 、 物 理 卷 信息 、 卷 组 信息 、 逻 辑 卷 信息 、 网 卡 信息 、 运 行情 况 等 基本 信息 。 

2) 系统 部 署 的 软件 版 本 及 补丁 、 硬 件 板 卡 、 存 储 、 实 例 、 应 用 情况 等 扩充 性 信息 。 

3) 操作 系统 基本 信息 、 系 统 服务 状态 、 系 统 核心 参数 、 文 件 系 统 、 服 务 端 口 、 用 
户 信 息 等 。 

4) 数据 库 实例 信息 、 表 空间 信息 、 数 据 文件 信息 等 。 

采集 库 的 整个 流程 设计 大 致 可 明显 地 划分 为 采集 、 入 库 以 及 信息 同步 三 步 。 

1. 采集 

云 管理 平台 将 采集 脚本 下 发 至 被 管理 服务 器 ， 然 后 通过 自动 化 运 维 工具 定时 执行 采 
集 脚本 ， 将 采集 的 信息 文本 发 送 给 SFTP 服务 器 ,采集 库 即 可 对 采集 文件 进行 解析 
人 库 。 

2. 入 库 

考虑 到 异常 信息 处 理 ， 人 库 过 程 大 致 可 分 为 三 个 步 又， 首先 是 入 库 文 件 检查 ， 其 次 
是 信息 入 库 ， 最 后 是 信息 提交 与 人 库 文 件 处 理 ， 其 整体 流程 如 图 10-3 所 示 。 

(1) 入 库 文件 检查 ”主要 核查 文件 信息 的 合 规 性 ， 入 库 文件 的 文件 名 是 否 符合 要 
求 、 是 否 存 在 重复 主键 问题 ， 字 段 格 式 、 文 本 格式 是 否 符合 要 求 ， 对 于 不 符合 要 求 的 需 
记录 相关 异常 信息 。 对 于 正常 文本 ， 应 记录 采集 日 期 、 采 集 文件 名 称 、 设 备 名 称 、 是 否 
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cm 







将 采集 文档 转移 
到 指定 目录 








更 新 等 字段 信息 。 


(2) 信息 入 库 ”对 于 新 老 设备 ,分 别 采取 不 同 的 更 新 方式 。 对 于 新 设备 ， 首 先 需 
要 检验 文件 的 MD5 码 ， 与 上 一 次 的 采集 文件 进行 对 比 ， 如 果 发 生变 化 ， 则 进行 修改 ; 
对 于 老 设备 ， 首 先 删 除 掉 以 前 的 信息 ， 然 后 再 入 库 ， 作 为 一 张 中 间 表 的 存在 去 更 新 。 

(3) 入 库 文件 处 理 ”每 次 入 库 完成 ， 对 于 异常 未 入 库 成 功 的 文件 ， 将 文件 转移 到 错误 
数据 备份 目录 ， 不 更 改名 称 ; 对 于 正常 人 库 文件 ， 将 入 库 文件 转移 到 正常 数据 备份 目录 。 

3. 信息 同步 

由 于 采集 库 的 着 眼 点 主要 是 息 的 收集 ， 在 逻辑 关系 上 并 不 明确 ， 所 以 需要 资 
We i se hoi 言 息 库 要 求 的 视图 ， 最 
后 再 返回 相应 的 采集 信息 。 资 源 信 息 同 步 流 程 如 图 10-4 所 示 。 
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(服务 器 、 网 络 .存储 ) 
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随 着 需求 的 增多 ， 采 集 项 也 会 增加 ， 目 前 的 逻辑 关系 主要 来 自 资源 信息 库 , 但 是 不 
排除 从 其 他 渠道 导入 人 逻辑 关系 到 采集 库 中 ， 最 终 实现 采集 数据 的 结构 化 以 及 可 视 化 ， 从 
而 达到 信息 利用 价值 的 最 大 化 。 


10.2 弹性 伸缩 


10.2.1 云 服务 管理 


云 服务 管理 用 于 将 云 服务 开发 的 成 果 注 册 到 云 管理 平台 中 ， 云 管理 控制 模块 根据 注 
册 的 云 服务 信息 结合 自动 化 工具 实现 云 服务 的 自动 部 署 ， 形 成 服务 实例 以 提供 云 服 务 
能 力 。 

云 服务 将 服务 目录 相对 应 并 发 布 到 用 户 自 助 服务 门户 中 ， 从 而 实现 服务 目录 到 云 服 
务 的 映射 。 云 服务 管理 将 用 户 看 到 服务 的 描述 与 镜像 、 云 服务 部 署 实 现 对 应 起 来 。 云 服 
务 管 理 的 功能 模型 如 图 10-5 所 示 。 












云 服务 管理 


服务 套餐 


服务 请 求 | 








镜像 部 署 






云 服务 部 署 


图 10-5 云 服务 管理 的 功能 模型 





10.2.1.1 镜像 管理 

云 服 务 是 由 一 个 或 一 个 以 上 的 云 服务 部 署 单元 通过 编排 、 集 成 和 测试 实现 的 。 在 开 
发 云 服 务 部 署 单元 时 ， 需 要 首先 确定 云 服务 部 署 单 元 的 功能 需求 ， 再 通过 对 领域 部 署 单 
元 的 封装 ， 形 成 包含 不 同 封装 内 容 (粒度 ) 和 可 以 产生 不 同 云 服务 类 型 (IaaS 、PaaSs 
或 SaaS) 的 云 服务 部 署 单元 。 保 留 硬 件 技术 相关 性 (例如 是 否 为 Power CPU) ， 并 保留 
除 各 领域 必须 指定 的 硬件 配置 相关 性 (如 2 个 网 卡 ) 外 ， 将 部 署 单元 剥离 硬件 配置 相 
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关 性 后 形成 的 静态 文件 即 为 镜像 。 镜 像 文 件 是 云 服务 部 署 单元 的 物理 存在 形式 。 

镜像 管理 功能 用 于 集中 管理 云 管理 平台 中 的 镜像 ， 包 括 镜像 基本 信息 和 镜像 服务 
器 地 址 的 维护 ， 但 是 不 涉及 镜像 的 制作 。 按 照 云 服务 的 设计 ， 首 先 通过 手工 构建 形 
成 系统 镜像 包 ， 然 后 将 镜像 包 上 传 到 相应 的 镜像 服务 器 ， 最 后 在 云 管 理 平台 进行 登 
记 注 册 。 

一 个 完整 的 镜像 信息 包含 8 个 方面 的 内 容 。 

1) 镜像 也: 标识 镜像 表 的 主键 ， 以 时 间 顺 序 命名 。 

2) 镜像 名 称 : 用 于 在 云 服务 目录 展现 镜像 名 称 。 

3) 管理 员 : 该 镜像 的 维护 者 ， 只 有 镜像 管理 员 可 以 维护 镜像 信息 ， 默 认为 创 
建 者 。 

4) 镜像 描述 : 用 于 在 云 服务 目录 展现 镜像 的 具体 描述 。 

5) 存放 路 径 : 镜像 在 镜像 服务 器 上 的 存放 路 径 ， 用 于 云 服 务 供给 时 的 镜像 复制 。 

6) 镜像 服务 需 信 息 : 用 于 标识 该 镜像 在 不 同 数据 中 心 所 在 的 镜像 服务 器 ， 不 同 虚 
拟 化 厂商 软件 的 镜像 放置 在 不 同 的 镜像 服务 器 上 ， 例 如 VMware Vcenter 的 镜像 放置 在 
Linux 服务 器 上 ， 而 IBM 的 Power Vioc 镜像 则 放置 在 NIM 服务 器 上 ; 由 于 云 管理 平台 是 
两 地 三 中 心 一 体 化 管理 ， 所 以 在 不 同 数据 中 心 会 有 不 同 的 镜像 服务 器 ， 以 便 本 地 化 
安装 。 

7) 软件 配置 信息 : 标识 该 镜像 中 已 经 预 安装 的 软件 或 者 已 有 的 软件 介质 ， 便 于 用 
户 选择 所 需要 的 去 服务， 包括 应 用 软件 、 通 用 技术 软件 、ITSM 管理 软件 、 中 间 件 、 操 
作 系 统 等 信息 。 

8) 系统 用 户 信息 : 标识 该 镜像 中 已 经 创建 的 系统 用 户 ， 用 于 在 资源 供给 时 进行 系 
统 权限 分 配 。 

10.2.1.2 脚本 管理 

在 云 服 务 供给 和 日 常 运 维 中 会 执行 大 量 脚本 ， 而 这 些 脚本 就 是 通过 脚本 管理 来 注册 
和 集中 管理 的 。 

脚本 通过 脚本 管理 注册 到 云 管理 平台 中 ， 在 进行 云 服 务 定义 时 ， 将 脚本 与 具体 的 云 
服务 绑 定 ， 云 服务 部 署 再 由 云 管理 平台 负责 将 脚本 打包 推送 到 具体 的 机 器 上 。 脚 本 管理 
主要 包括 脚本 包 信息 的 新 增 、 修 改 、 删 除 、 查 看 、 批 量 上 传 功能 和 脚本 信息 的 新 增 、 修 
改 、 删 除 、 查 看 、 上 传 功能 ， 脚 本 管理 以 树 状 形 式 维护 脚 本 包 和 脚本 ， 与 物理 存在 的 文 
件 夹 、 脚 本 一 一 对 应 。 

1) 脚本 包 的 内 容 主要 有 : 

Q 包 名 称 : 脚本 包 名 称 ， 用 于 在 云 服务 定义 和 日 常 运 维 中 选择 脚本 。 

@ 负责 人 : 用 于 在 脚本 出 现 问题 时 或 者 需要 优化 时 找到 相应 维护 人 员 。 

@) 包 路 径 : 用 于 标识 脚本 包 在 脚本 服务 器 的 路 径 以 及 下 发 到 被 管理 服务 器 的 路 径 ; 
包 路 径 需 要 全 局 唯一 。 

@ 功能 模块 : 用 于 说 明 该 脚本 包 的 用 途 ， 主 要 分 类 有 健康 检查 、 合 规 检查 、 服 务 
启 停 、 软 件 安装 等 。 
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@) 所 属 应 用 : 用 于 标识 该 脚本 包 所 属 应 用 ， 如 果 有 关联 应 用 ， 则 只 有 该 应 用 的 管 
理 员 可 以 查看 该 脚本 包 ， 也 只 有 这 个 应 用 下 的 设备 可 以 执行 该 脚本 包 下 的 脚本 ; 如 果 没 
有 关联 应 用 ， 则 所 有 管理 员 均 可 查看 该 脚本 包 ， 所 有 设备 都 可 执行 该 脚本 包 下 的 脚本 。 

(@) 阔 值 文件 : 健康 检查 、 合 规 检查 类 脚本 都 需要 用 户 设 定 阔 值 ， 这 些 阔 值 就 保存 
在 阔 值 文件 中 ; 如 果 在 脚本 包 中 设置 了 阔 值 文件 ， 则 其 下 级 脚本 包 不 允许 再 设置 阔 值 ， 
其 平 级 可 以 设置 阔 值 文件 。 

Q@ 备注 说 明 : 用 于 描述 脚本 包 的 具体 用 途 。 

2) 脚本 的 对 应 物理 存在 的 脚本 文件 ， 内 容 主要 有 : 

脚本 名 称 ; 用 于 在 云 服务 定义 和 日 常 运 维 中 选择 脚本 。 

@ 文件 名 称 : 对 应 的 脚本 文件 名 称 。 

@) 执行 用 户 : 0 

回 退 脚本 : 如 果 该 脚本 运行 失败 并 需要 自动 运行 回 退 脚本 ， 则 可 在 此 设置 需要 
自动 执行 的 回 退 脚本 。 

@) 阔 值 : 健康 检查 、 合 规 检查 类 脚本 在 执行 时 会 读 取 阔 值 文件 中 的 阔 值 ， 此 处 设 
置 阔 值 名 称 (对 应 脚本 中 的 读 取 参 数 ) 、 浆 值 输入 类 型 (数字 型 、 时 间 、 文 本 等 ) 。 

@) 是 否 自 定义 冰 值 : 如 果 选 是 ， 则 该 脚本 在 用 户 设置 阔 值 时 ， 用 户 可 自行 定义 阔 
值 的 关键 字 和 值 。 

10.2.1.3 云 服务 定义 

云 服务 以 服务 目录 的 形式 提供 给 用 户 ， 服 务 目 录 是 将 识别 的 技术 服务 按照 服务 类 型 
和 特点 归 类 ， 并 提供 给 使 用 者 ,方便 使 用 者 学 习 、 查 询 、 使 用 的 工具 。 建 立 服务 目录 的 
过 程 就 是 一 个 识别 服务 、 限 定 服务 对 象 和 内 容 、 确 定 服务 级 别 和 规范 的 过 程 。 

云 服务 定义 包含 : 云 服 务 基础 信息 、 服 务 套餐 信息 、 服 务 操 作 模 型 和 云 服 务 参数 4 
部 分 。 

1) 云 服务 基础 信息 用 于 方便 用 户 选择 云 服 务 ， 记 录 云 服务 的 基础 信息 ， 其 内 容 
包括 : 

@ 云 服务 名 称 : 用 户 所 选择 的 服务 目录 即 云 服务 名 称 ， 简 要 描述 云 服 务 的 内 容 。 

@) 云 服务 类 型 : 主要 有 计算 、 存 储 和 网 络 三 类 ， 方 便 用 户 选择 所 需 云 服务 。 

@) 高 可 用 类 型 : 如 果 云 服务 类 型 为 计算 ， 则 需要 选择 高 可 用 类 型 ， 其 包括 HA、 
RAC 、 集 群 、 单 机 等 ， 也 用 于 方便 用 户 选择 所 需要 的 云 服务 。 

@ 服务 器 基数 : 计算 云 服务 的 高 可 用 类 型 分 为 HA 、RAC、 人 集群 和 单机 四 种 ，HA 
和 RAC 需要 服务 器 成 双 提 供 ， 集群 是 三 台 ， 单 机 是 一 台 ; 云 服务 都 是 成 套 提 供 的 ， 每 
套 服务 器 的 数量 即 为 服务 器 基数 ， 用 户 在 申请 时 ， 只 需 填 写 云 服务 套数 即 可 ， 系 统 会 自 
动 计 算出 需要 提供 的 服务 器 数量 。 

@) 负责 人 : 用 于 在 云 服 务 出 现 问 题 时 或 者 需要 优化 时 找到 相应 维护 人 员 。 

@@) 业务 功能 : 用 于 在 云 服务 目录 展现 云 服 务 的 业务 功能 。 

Co 系统 镜像 : 选择 云 服 务 所 使 用 的 系统 镜像 。 

@) 脚本 集合 : 选择 云 服务 在 供给 中 所 用 到 的 脚本 ， 这 些 脚 本 在 服务 器 供给 时 会 先 
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下 发 到 服务 器 上 。 

2) 服务 套餐 是 指 云 服务 在 设备 上 的 配置 ， 主 要 包括 CPU、 内 存 、 磁 盘 大 小 、 网 络 
带宽 等 。 通 过 服务 套餐 的 设置 ， 可 以 指定 云 服务 在 供给 时 所 需 使 用 的 资源 大 小 。 

3) 操作 模型 是 设置 云 服务 的 部 署 模式 ， 分 为 供给 模式 、 扩 容 模式 和 回收 模式 。 

4) 云 服务 参数 是 用 于 设置 去 服务 所 独 有 的 一 些 参数 ， 这 些 参数 会 在 云 服务 供给 时 
用 到 ， 这 些 参数 可 以 通过 前 台 页 面 配置 添加 ， 而 无 需 另 外 开发 ， 比 较 方便 快速 添加 或 优 
化 云 服 务 。 























10.2.2 云 服 务 部 署 





云 服 务 部 署 是 指 云 管理 平台 根据 用 户 选择 的 云 服 务 以 及 申请 信息 自动 化 部 署 云 服务 
的 过 程 ， 最 终 用 户 在 自助 服务 门户 提交 服务 请 求 后 ， 云 管理 平台 利用 流程 引擎 结合 自动 
化 工具 实现 云 服 务 自动 部 署 。 云 服务 部 署 的 过 程 应 该 是 可 监控 的 ， 也 就 是 说 云 服 务 操作 
模型 的 各 种 计划 流程 执行 过 程 对 系统 管理 员 是 可 监控 的 、 可 操作 的 。 云 管理 平台 依靠 流 
程 引擎 执行 操作 模型 的 各 种 计划 流程 ， 将 云 服务 部 署 的 各 种 步骤 串联 在 一 起 ， 实 现 云 服 
务 的 自动 化 部 署 和 供给 。 流 程 工具 支持 图 形 化 的 设计 和 监控 界面 ， 同 时 支持 流程 的 异常 
处 理 和 断 点 接续 机 制 。 

云 服 务 部 署 包括 云 服 务 供给 、 云 服务 扩容 和 云 服 务 回收 。 这 里 将 以 “PaaS_AIX_ 
Oracle RAC 联机 交易 数据 库 云 服务 ”为 例 详细 介绍 云 服务 部 署 的 设计 和 开发 方法 。 

1. PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服务 供给 

PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服务 是 提供 联机 交易 的 高 可 用 数据 库 服 
务 ， 由 AIX 操作 系统 平台 的 两 个 虚拟 机 作为 Oracle RAC 的 两 个 节点 ， 加 上 共享 磁盘 的 
方式 组 成 。 每 台 虚 拟 机 均 安装 AIX 7/Oracle 11g 软件 。 该 服务 一 般 工 作 在 数据 处理 层 ， 
对 关系 型 数据 提供 创建 、 查 询 、 更 新 、 删 除 等 处 理 能 力 ， 通 过 双 节 点 集群 方式 保障 高 可 
用 性 。 其 领域 操作 及 操作 编排 如 图 10-6 所 示 。 

2.， PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服务 扩容 

用 户 通过 云 服务 申请 设备 后 ， 如 需 对 设备 进行 扩容 或 者 缩 容 ， 可 以 通过 选择 “ 虚 
拟 机 扩容 / 缩 容 ”服务 请 求 来 进行 调整 ， 云 管理 平台 会 自动 根据 设备 当初 对 应 的 云 服 务 
选择 相应 的 操作 模型 。 

PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服 务 扩容 操作 模型 如 图 10-7 所 示 。 












































10.2.3 资源 池 管 理 


资源 池 是 云 平台 的 重要 组 成 部 分 ， 资 源 池 管 理 主要 用 于 对 计算 资源 池 、 存 储 资源 
池 、 网 络 资源 池 等 的 定义 和 管理 ， 以 及 资源 的 自动 化 安装 与 注册 。 
10.2.3.1 计算 资源 池 
计算 资源 池 主 要 用 于 定义 计算 资源 ， 其 对 应 的 是 物理 主机 及 虚拟 机 。 计 算 资 源 池 分 
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图 10-6 ”PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服务 的 领域 操作 及 操作 编排 

注 : MAC: 物理 硬件 地 址 ; NIM: 网 络 安装 管理 ， 对 AIX 操作 系统 进行 安装 和 软件 维护 ;; image: 镜像 ;，vW- 
WN: 虚拟 全 球 唯 一 名 字 ; HBA: 主机 总 线 适 配器 ; VIOC: IBM 研发 的 虚拟 10 服务器; SAN ZONE: 存储 区 域 网 络 
分 构 区 ; PVID: 物理 卷 D; SSH: 安全 外 壳 协 议 ; Grid: 网 格 ; RDBMS: 关系 型 数据 库 管理 系统 ，SSM: 服务 调度 
管理 系统 ; SA: 服务 器 自动 化 系统 。 





























层 结构 如 图 10-8 所 示 。 

其 中 ， 数 据 中 心 为 所 有 资源 池 所 共享 ， 即 在 任意 一 个 资源 池 维 护 页 面 中 定义 了 数据 
中 心 后 ， 其 他 资源 池 即 可 看 到 该 数据 中 心 的 信息 。 通 过 该 维护 页 面 ， 用 户 可 以 定义 数据 
中 心 、 计 算 资 源 池 、 部 署 单元 、 集 群 ， 然 后 将 物理 主机 与 集群 进行 关联 。 数 据 中 心 下 层 
即 是 资源 池 ， 资 源 池 的 信息 如 下 : 

1) 名 称 : 资源 池 名 称 ， 用 于 资源 池 管 理 。 

2) 英文 名 称 : 资源 池 英 文 名 称 。 

3) 服务 类 型 : 资源 池 可 分 为 接 入 资源 池 、 应 用 资源 池 、 数 据 资 源 池 和 管理 资源 
池 ; 接 入 资源 池 用 于 分 配 Web 应 用 所 使 用 的 虚拟 机 ， 应 用 资源 池 用 于 分 配 AP 应 用 所 使 
用 的 虚拟 机 ， 数 据 资源 池 用 于 分 配 数据 库 所 使 用 的 虚拟 机 ， 管 理 资 源 池 用 于 IT 运 维 管 
理 类 软件 所 需要 使 用 的 虚拟 机 。 

4) 平台 类 型 : 是 指 资源 池 所 管理 的 硬件 平台 ， 包 括 X86、AIX 和 HP， 而 这 个 类 型 
的 设置 也 表明 每 一 个 资源 池 只 能 管理 一 种 类 型 的 硬件 平台 。 

5) 安全 区 域 : 指 资源 池 所 管理 的 服务 器 及 其 上 所 部 署 虚拟 机 所 在 的 网 络 区 域 ， 包 
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PaaS_ATX Oracle RAC 联机 交易 数据 库 云 服务 


2. 检 查 数据 盘 物 理 卷 ID 一 致 性 
3. 验 证 数据 盘 一 致 性 
计 
算 
领 
域 


4 .清除 数据 盘 物 理 卷 ID 
5. 配 置 数据 盘 属 性 
6. 配 置 VIOC2( 重 复 4 一 5) 





备份 领域 分 配 共享 数据 
数据 库 7. 添 加 磁盘 
领域 


图 10-7 PaaS_AIX_Oracle RAC 联机 交易 数据 库 云 服务 扩容 操作 模型 


括 互联 网 DMZ 区 、 外 联网 DMZ 区 、 开 放 服 务 区 、 运 维 管理 区 、 灾 备 区 等 。 

6) 主机 操作 系统 类 型 : 是 指 资源 池 管 理 的 服务 器 上 安装 的 Hypervisor 软件 类 型 。 
通过 VMware 虚拟 化 产品 实现 的 虚拟 化 资源 池 安 装 的 是 Exsi; 通过 AIX 虚拟 化 产品 实现 
的 虚拟 化 资源 池 安 装 的 是 VIOS; 通过 KVM 虚拟 化 产品 实现 的 虚拟 化 资源 池 安 装 的 是 
Linux; HP 资源 池 使 用 的 是 物理 机 模式 供给 ， 安 装 的 是 HPUX。 

7) 虚拟 比 : 一 台 物 理 机 上 可 以 分 配 虚拟 机 的 最 大 个 数 ; 如 果 CDP、 集 群 设置 了 虚 
拟 比 ， 则 分 配 虚拟 机 时 参照 最 下 层 的 设置 ， 如 果 没 有 设置 则 使 用 资源 池 的 设置 。 

8) CPU 分 配 比 : 一 台 物 理 机 最 大 可 以 超额 分 配 CPU 比例 ， 比 如 一 个 X86 物理 机 
的 CPU 为 48C，CPU 分 配 比 设置 为 150% ， 则 该 物理 机 最 大 可 分 配 CPU 为 72C， 与 虚拟 
比 一 样 ， 资 源 池 、CDP、 集 群 均 可 设置 该 数值 。 

9) 内 存 分 配 比 : 一 台 物 理 机 最 大 可 以 超 分 配 内 存 比 例 ， 算 法 同 CPU 分 配 比 。 

10.2. 3.2 存储 资源 池 

存储 资源 池 主 要 用 于 定义 存储 资源 ， 其 对 应 的 是 存储 设备 。 存 储 资 源 池 分 层 结构 如 
图 10-9 所 示 。 
通过 存储 资源 管理 维护 页 面 ， 用 户 可 以 定义 数据 中 心 、 存 储 资源 地、 构建 单元 、 部 
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图 10-8 计算 资源 池 的 分 层 结 构 


署 单元 ， 然 后 将 存储 设备 与 构建 单元 关联 。 存 储 资源 池 用 于 区 分 存储 使 用 的 技术 和 服务 
级 别 ， 具 体 信息 如 下 : 

1) 名 称 : 资源 池 名 称 ， 用 于 资源 池 管 理 。 

2) 说 明 : 资源 池 的 用 途 说 明 。 

3) 资源 池 类 型 : 存储 资源 池 主 要 有 两 类 ，NAS 和 SAN。 

4) 服务 级 别 : SAN 资源 池 分 为 白金 级 、 金 级 和 银 级 ; NAS 资源 池 分 为 白金 级 、 银 
级 和 铜 级 。 


10.2.4 资源 动态 分 配 


云 管理 平台 可 以 持续 不 断 地 监控 主机 集群 中 资源 池 的 利用 率 ， 并 能 够 根据 业务 需要 
在 虚拟 机 中 智能 地 分 配 其 所 需 的 资源 。 通 过 将 资源 整合 、 池 化 ， 并 利用 高 度 自动 化 的 管 
理工 具 实 现 资源 的 动态 分 配 和 共享 ， 在 规模 化 的 基础 之 上 实现 了 对 底层 开 资源 的 充分 
利用 ， 降 低 了 单位 IT 资源 的 投入 成 本 。 

针对 应 用 需求 ， 资 源 分 配 时 应 遵循 如 下 分 配 原则 : 

1) 根据 应 用 对 计算 、 存 储 和 网 络 资源 的 需求 选择 相应 资源 池 。 

2) 根据 当前 资源 使 用 情况 选择 资源 池 中 云 部 署 单元 。 
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图 10-9 存储 资源 池 的 分 层 结 构 











3) 每 个 应 用 平均 分 配 在 同一 云 部 署 单元 的 不 同 集群 内 。 

4) 对 一 个 群集 内 所 分 配 的 虚 机 ， 应 部 署 在 不 同 的 物理 机 设备 上 。 

5) 虚拟 机 的 分 配 优先 选择 空闲 资源 最 多 的 物理 机 设备 上 。 

例如 : 某 项 目 需要 33 台 Web 服务 器 资源 ， 根 据 资 源 分 配 原则 ， 在 Web 服务 器 资源 
池内 每 个 服务 器 集群 分 配 11 台 Web 服务 器 虚拟 机 ,这 11 台 虚 拟 机 所 属于 不 同 的 物理 
服务 器 ;， 后 期 男 一 个 项 目 上 线 ， 需求 为 62 台 Web 服务 器 资源 ， 根 据 资 源 分 配 原 则 按照 
3 的 倍数 部 署 63 台 Web 服务 器 ， 从 资源 使 用 率 最 低 的 物理 服务 器 上 分 配 虚拟 服务 器 资 
源 。 资 源 动态 分 配 示意 图 如 图 10-10 所 示 。 
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非 现场 审计 因 。。 详 庭 现 金管 理 
图 10-10 资源 动态 分 配 示意 图 


10.2.5 资源 自动 化 管理 


10.2.5.1 物理 服务 器 自动 化 安装 

建行 云 管理 平台 支持 X86 、AIX 小 型 机 、HP 小 型 机 的 物理 机 操作 系统 自动 化 安装 ， 
其 架构 如 图 10-11 所 示 。 

对 于 AIX 和 HP- UX 来 说 ， 由 于 机 器 数量 较 少 ， 所 以 使 用 了 原 厂 提供 的 NIM 和 IG- 
NET 方式 ， 同 时 对 这 两 种 方式 进行 了 包装 ， 提 供 了 统一 的 安装 界面 。 

对 于 X86 服务 器 ， 由 于 数量 和 需求 众多 ， 建 行 云 管理 平台 采取 了 创新 模式 ， 在 传 
统 服务 器 安装 的 基础 上 ， 开 发 了 一 个 小 型 操作 系统 ， 命 名 为 Boot0S。BootOS 的 设计 思 
路 如 下 : 

1) 一 个 基于 Linux 的 精简 操作 系统 ， 比 较 小 ， 只 有 100 ~200MB ， 能 够 快速 地 从 网 
络 下 载 。 

2) 从 网 络 启动 并 完全 运行 于 内 存 中 。 

3) 能 通过 SSH 远程 登录 ， 并 具有 常用 的 Linux 管理 命令 。 

4) 能 与 云 平 台 通信 ， 接 收 并 执行 云 平 台 命令 ， 返 回 结果 。 

5) 能 按 需求 扩展 。 

利用 BootOS 系统 可 以 在 物理 机 上 自动 化 批量 统一 安装 ESXi、RHEL、CentOS 等 操 
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图 10-11 物理 机 操作 系统 安装 架构 
注 : SSH: 安全 外 壳 协 议 ; DHCP; 动态 主机 配置 协议 ; PXE， 预 启动 执行 环境 ; NIM: 网 络 安 装 管理 ， 对 AIX 
操作 系统 进行 安装 和 软件 维护 ; PowerVM: IBM Power 系列 虚拟 机 ; IBM pSerial: IBM P 系列 服务 器 ;HP Itanium 
HP 安 腾 服务 器 ; IGNITE: HP 操作 系统 网 络 安装 服务 器 。 














作 系 统 。 安 装 过 程 如 下 : X86 裸 机 通过 网 卡 启动 后 ， 首 先 发 送 DHCP 请 求 获得 IP 地 址 ， 
然后 裸 机 下 载 BootOS 的 镜像 文件 ， 下 载 完 毕 后 BootOS 完全 在 内 存 中 独立 运行 ， 同时 
BootOS 提供 接口 可 以 接收 来 自 云 平台 的 消息 并 执行 任何 云 平台 发 送 的 指令 。 

除了 统一 安装 操作 系统 外 ，BootOS 还 具有 以 下 特有 的 功能 

1) 自动 化 采集 服务 器 硬件 配置 信息 ， 并 外 做 到 雪村 准确 ， 将 人 员 从 传统 的 手工 输 
入 中 解放 出 来 ， 并 且 还 可 以 避免 因 手工 输入 造成 的 信息 不 准确 。 

2) 在 服务 器 安装 系统 前 对 其 进行 硬件 配置 ， 如 划分 RAID ， 使 得 相关 人 员 不 必 进 
入 机 房 即 可 完成 指定 的 任务 ， 极 大 地 减轻 工作 压力 。 

3) 服务 器 进入 机 房 加 电 后 ， 所 有 的 系统 安装 、 配 置 操 作 完 全 自动 化 。 

4) BootOS 的 设计 分 为 六 个 模块 ， 分 别 是 : 

@ 网 络 模块 ，BootOS 启动 之 后 ,通过 DHCP 为 对 应 的 网 卡 获取 地 址 ， 保 证 网 络 
畅通 。 

@ 心跳 模块 : BootOS 启动 之 后 ， 会 在 服务 器 上 起 来 一 个 Client 进程 ， 该 进程 会 周 
期 性 地 向 云 平 台 BootOS 后 台 服 务 发 送 心跳 信息 。BootOS 发 送 心 跳 信息 的 日 的 是 为 了 让 
云 平台 感知 自己 的 存在 。 

@) 监听 模块 : BootOS 不 仅 需要 向 云 平台 主动 推送 消息 (心跳 、 注 册 ) ， 也 需要 接 
收 来 自 云 平台 的 命令 ， 因 此 BootOS 上 必须 有 能 够 监听 来 自 云 平台 消息 的 服务 。 我 们 采 
用 Apache 提供 的 Http 服务 。 

图 命令 模块 : BootOS 收 到 监听 模块 的 命令 之 后 会 将 命令 转交 给 命令 模块 ， 命 令 模 
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块 负责 解析 和 执行 命令 。 

@) 硬件 模块 :硬件 模块 负责 按照 云 平台 命令 进行 硬件 配置 ， 这 部 分 实现 了 与 硬件 
交互 的 作用 ， 主 要 包含 驱动 安装 和 脚本 编写 。 在 这 个 模块 中 ， 主 要 应 针对 RAID 配置 和 
ILO (Integrated Lights-Out， 服 务 硕 远程 管理 系统 ) 配置 进行 设计 。 

@ 日 志 模 块 : BootOS 在 整个 生命 过 程 中 都 会 有 详细 的 日 志 记 录 ， 包 括 命令 执行 结 
果 、 心 跳 发 送 状 态 、 注 册 状 态 、 接 收 云 平 台 命 令 等 。 所 有 的 日 志 都 有 标准 的 格式 ， 使 得 
日 志 易 于 解析 ， 并 进行 了 分 级 。 

BootOS 自动 化 安装 ESXi 流程 较 复 杂 ， 因 为 它 不 仅 要 求 服 务 器 按 标准 统一 配置 ， 同 
时 还 要 求 各 个 服务 器 有 不 同 的 配置 ， 如 不 同 的 耳 、 不 同 的 密码 等 。 自 动 化 安装 基本 步 
又 如 下 : 

1) 云 平台 触发 批量 安装 ， 输 入 待 安装 服务 器 的 设备 ID 。 

2) 云 平台 为 待 安装 主机 分 配 卫 、VLAN 等 配置 信息 。 

3) 安装 服务 生成 各 个 服务 器 特定 的 安装 配置 脚本 。 

4) 安装 服务 向 BootOS 发 送 命令 。 

5) BootOS 按 命令 进行 配置 ， 根 据 自身 状态 立即 执行 或 者 等 待 执行 命令 重启 。 

6) 服务 器 进入 安装 状态 。 

7) 服务 器 向 安装 服务 报告 安装 完成 。 

8) 安装 服务 调用 vSphere API 纳 管 FSXi。 

9) 记录 安装 日 志 。 

10.2.5.2 虚拟 化 服务 器 自动 化 管理 

建行 云 管理 平台 通过 虚拟 化 适 配 层 ， 实 现 对 于 多 种 平台 虚拟 化 软件 的 支持 。 当 前 已 
经 实现 了 对 X86 VMware ESXi 虚拟 化 软件 、AIX 小 型 机 PowerVM 虚拟 化 软件 支持 ， 能 
实现 完整 的 虚拟 化 服务 器 安装 、 配 置 和 管理 ， 并 且 能 支持 按 需 扩展 。 

对 于 X86 服务 器 虚拟 化 的 管理 ， 为 了 更 好 地 自主 掌握 核心 技术 、 摆 脱 对 厂商 软件 
的 依赖 ， 建 行 云 管理 平台 本 着 减少 与 厂商 管理 软件 的 交互 而 更 多 调用 底层 API 的 原则 ， 
在 设计 上 更 多 地 调用 各 个 物理 机 上 Hypervisor 的 API， 将 大 量 管理 层 的 功能 封装 在 云 管 
理 平台 ， 而 不 通过 厂商 管理 软件 直接 实现 ， 使 得 云 管理 平台 在 同样 的 管理 模式 和 管理 策 
略 下 ， 不 仅 可 以 管理 VMware ESXi 虚拟 化 软件 ， 还 可 以 管理 华为 虚拟 化 软件 以 及 KVM 
虚拟 机 。 

对 于 AIX 小 型 机 PowerVM 虚拟 化 软件 ， 云 管理 平台 则 通过 封装 HMC 命令 实现 
PowerVM 的 创建 、 管 理 、 资 源 分 配 和 虚拟 机 启 停 。 

10.2.5.3 网 络 自动 化 管理 

建行 云 管理 平台 一 期 项 目 实现 了 IP 地 址 的 自动 化 配置 和 管理 、F5 负载 均衡 的 配置 
管理 ， 相 关 设 计 要 点 如 下 。 

1. IP 地 址 分 配 

云 管理 平台 根据 判断 网 络 资源 请 求 的 来 源 确定 IP 地 址 类 型 ， 再 根据 用 途 确 定 卫 地 
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址 〈C 类 地 址 段 )。IP 地 址 分 配 涉及 的 属性 包括 安全 区 域 、 设 备 类 型 和 IP 地 址 类 型 ， 
男 外 如 果 IP 地 址 为 生产 地 址 ， 则 还 包括 安全 分 层 属 性 。 根 据 计算 资源 池 的 申请 请 求 ， 
确定 所 申请 IP 地 址 的 基本 属性 。 

IP 地 址 分 配 分 为 物理 机 地 址 分 配 和 虚拟 机 地 址 分 配 两 部 分 。 

(1) 物理 机 地 址 采用 预 分 配方 式 ”物理 机 地 址 分 配 根据 计算 资源 池 的 规划 进行 预 
分 配 ， 即 为 计算 资源 池 中 当前 已 部 署 或 以 后 将 要 部 署 的 物理 机 预先 分 配 IP 地 址 。 

为 保证 资源 池 中 各 部 署 单 元 、 集 群 、 服 务 器 IP 地 址 的 连续 性 ， 物 理 机 地 址 在 新 建 
资源 池 时 进行 预 分 配 ， 且 按照 单个 资源 池 的 最 大 需求 分 配 。 

X86 机 器 地 址 分 配 策 略 包 括 资源 池 地 址 预 分 配 、 部 署 单元 地 址 预 分 配 、 集 群 单元 地 
址 预 分 配 、 物 理 机 地 址 分 配 和 NAS 存储 地 址 分 配 ，AIX 机 器 地 址 分 配 策略 包括 资源 池 
地 址 预 分 配 和 部 署 单元 物理 机 地 址 分 配 〈 仅 有 一 个 部 署 单元 一 个 集群 ) 。 

(2) 虚拟 机 地 址 采用 现 用 现 分 配方 式 ” 虚 拟 机 地 址 分 配 在 用 户 申 请 虚拟 机 时 一 并 
分 配 ， 即 根据 用 户 的 实时 需求 实现 卫 地 址 的 自动 化 弹性 分 配 。 虚 拟 机 地 址 分 配 策略 包 
括 VMware 虚拟 机 地 址 分 配 和 PowerVM 虚拟 机 地 址 分 配 。 

2. 负载 均衡 自动 化 

负载 均衡 用 来 给 后 台 的 Web 服务 器 提供 负载 均衡 服务 。 服 务 器 采用 了 虚拟 化 技术 ， 
实现 了 按 需 自动 部 署 ， 云 管理 平台 将 通过 使 用 负载 均衡 的 接口 实现 负载 均衡 服务 自动 化 
供给 ， 以 满足 应 用 的 快速 部 署 需求 。 云 管理 平台 通过 调用 F5 设备 的 iControl 接口 实现 
了 负载 均衡 自动 化 配置 。 

在 云 管理 平台 中 ， 应 用 管理 员 将 以 应 用 部 署 单元 (部署 单 元 是 按照 模块 或 应 用 功 
能 划分 子 模块 ) 为 单位 进行 资源 申请 ， 包 含 计算 资 源 、 网 络 资源 和 存储 资源 。 在 应 用 
组 件 部 署 单元 的 资源 申请 到 位 后 ， 通 过 云 管理 平台 完成 应 用 的 负载 均衡 服务 交付 。 

负载 均衡 自动 化 的 实现 根据 应 用 的 生命 周期 ， 实 现 了 包括 应 用 上 线 、 应 用 扩容 、 应 
用 下 线 和 应 用 维护 四 个 环节 的 负载 均衡 的 自动 化 配置 。 

(1) 应 用 上 线 ”负载 均衡 服务 请 求 将 在 应 用 申请 完 计 算 资 源 后 创建 ， 用 来 满足 系 
统 的 负载 均衡 需求 。 应 用 管理 员 填 写 基 本 需求 参数 后 提交 服务 请 求 ， 由 网 络 管理 员 负 责 
初审 同时 完善 参数 信息 后 进入 ITIL 审批 流程 ， 待 审批 通过 后 ， 云 管理 平台 将 自动 生成 
关联 变更 单 ， 网 络 管理 员 将 在 变更 单 关 联 设备 ， 填 写 执行 时 间 等 信息 ， 确 认 后 进入 自动 
化 变更 审核 阶段 。 待 审核 通过 后 ， 云 平台 按照 应 用 管理 员 和 网 络 管理 员 填 写 的 配置 参 
数 ， 通 过 调用 负载 均衡 设备 的 接口 进行 自动 化 配置 ， 实 施 负 载 均衡 服务 请 求 。 

(2) 应 用 扩容 ”应 用 管理 员 在 云 管理 平台 新 建 扩容 负载 均衡 服务 请 求 ， 审 批 通过 
后 ,将 自动 生成 变更 单 ， 网 络 管理 员 将 待 审核 通过 后 ,手动 或 者 自动 触发 自动 化 操作 。 

应 用 扩容 申请 资源 流程 中 ， 直 接 发 起 对 于 负载 均衡 服务 的 申请 ， 所 有 负载 均衡 策略 
仅 可 沿用 已 有 策略 。 

(3) 应 用 下 线 ”应 用 下 线 时 ， 在 计算 资源 已 下 线 的 前 提 下 ， 需 要 将 应 用 关联 的 负 
载 均 衡 资 源 进 行 释放 。 具 体操 作 需 与 网 络 管理 员 沟通 。 

(4) 应 用 维护 ”应 用 运行 期 间 ， 实 现 对 POOL MBMBER 一 键 式 启 停 功能 和 连接 限 
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制 设置 功能 , 使 得 应 用 系统 能 根据 需求 实现 负载 均衡 弹性 配置 。 

10.2.5.4 存储 自动 化 管理 

存储 资源 是 重要 的 运 维 资源 ， 是 整个 自动 化 运 维 的 关键 一 环 。 存 储 自动 化 之 前 ， 存 
储 的 分 配 是 通过 手工 来 完成 的 ， 从 ZONE 的 划分 到 VIEW 的 创建 ， 存 储 的 选择 、LUN 的 
选取 、 端 口 组 的 选择 ， 一 系列 过 程 都 需要 人 工 来 操作 。 存 储 自动 化 实现 了 这 一 过 程 ， 通 
过 程序 来 模仿 人 工 操作 , 来 达到 自动 分 配 存储 的 目的 。 云 平台 采用 SMI-S 进行 对 EMC、 
Cisco 的 设备 进行 统一 管理 。 

SMI-S (Storage Management Interface Specification 存储 管理 接口 标准 ) 是 SNIA 开发 
的 一 种 标准 管理 接口 ， 旨 在 减轻 多 厂商 SAN 环境 的 管理 负担 。SMI-S 发 布 至 今 已 经 取 
得 多 家 SNIA 成 员 企业 的 认可 与 支持 。SMI-S 的 目标 是 ， 在 存储 网 络 中 的 存储 设备 和 管 
理 软件 之 间 提 供 标准 化 的 通信 方式 ， 从 而 使 存储 管理 实现 厂商 无 关 性 ， 提 高 管理 效率 、 
降低 管理 成 本 ， 促 进 存储 网 络 的 发 展 。 采 用 SMI-S 能 够 在 SAN 中 轻松 集成 和 管理 来 自 
多 厂商 的 组 件 ， 从 而 提升 了 灵活 性 、 可 管理 性 和 可 靠 性 ; 同时 ， 用 户 的 资源 利用 率 也 将 
获得 极 大 的 提高 。 

云 平 台 的 存储 自动 化 在 整个 自动 化 运 维 平 台中 属于 自动 化 组 件 ， 与 服务 器 自动 化 、 
网 络 自动 化 和 虚拟 化 管理 共同 组 成 自动 化 组 件 ， 给 上 层 提 供 服务 。 从 层次 上 看 ， 将 系统 
划分 为 两 层 : 业务 层 : 主要 负责 将 用 户 的 需求 转换 成 服务 层 可 以 处 理 的 消息 ， 并 调用 服 
务 层 相应 的 方法 ; 服务 层 : 主要 负责 通过 API 与 设备 进行 交互 ， 并 在 设备 上 进行 不 同 的 
操作 。 

存储 自动 化 系统 服务 于 工作 流 ， 通 过 工作 流 引 警 来 调用 存储 自动 化 系统 。 根 据 存储 
自动 化 的 实际 需求 ， 结 合 工作 流 的 调用 方式 ， 将 系统 设计 分 为 8 个 步骤 ,在 工作 流 中 体 
现 为 八 个 节点 ， 每 个 节点 代表 一 个 功能 ， 对 应 着 系统 的 一 个 功能 模块 。 这 个 八 个 步骤 基 
本 上 对 应 系统 的 六 个 功能 模块 。 

(1) 选择 存储 功能 模块 ” 云 平台 首先 根据 应 用 的 分 配 需求 ， 在 存储 资源 池 中 选择 
合适 的 存储 设备 ， 同 时 筛选 出 合适 的 LUN。 然 后 按照 给 定 的 规则 ， 选 择 合适 的 存储 资 
源 池 ， 并 发 送 给 服务 层 。 服 务 层 选择 存储 接口 会 相应 地 被 调用 ， 接 着 在 每 个 构建 单元 里 
选择 一 台 存 储 设备 进行 容量 计算 。 

(2) 选择 端口 模块 ”主要 在 存储 的 端口 组 中 选择 合适 的 端口 。 存 储 设备 往往 有 多 
个 前 端 端口 ， 为 了 便于 维护 和 使 用 ， 需 要 对 这 些 端口 进行 分 组 。 所 谓 选择 端口 组 就 是 在 
这 些 端口 组 中 ， 按 照 一 定 的 规则 筛选 出 其 中 的 一 个 端口 组 。 

云 平 台 首先 获取 不 在 任何 PG (Port Group， 端口 组 ) 中 的 前 端 端口 ， 然 后 云 平台 通 
过 前 端 端口 名 获取 到 对 应 的 wwn， 这 样 就 可 以 获得 对 应 的 端口 模块 。 

(3) 获取 ZONE 信息 模块 ”主要 目的 就 是 获取 并 创建 ZONE 所 需要 的 一 些 信息 。 

云 平台 业务 层 会 根据 所 给 的 Fabric 名 称 依 次 获取 该 Fabric 名 称 下 所 有 的 交换 机 ， 然 
后 获取 交换 机 的 端口 ， 接 着 依次 循环 交换 机 的 端口 ， 查 看 主机 HBA 卡 是 否 连 接 到 该 端 
口 。 如 果 是 ， 则 获取 该 HBA 卡 所 属 的 交换 机 名 称 ; 如 果 不 是 ， 再 查看 存储 前 端 端口 是 
否 连接 到 该 端口 。 依 此 循环 ， 直 到 所 有 的 主机 和 存储 的 相关 信息 查询 完毕 。 
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(4) 创建 ZONE 信息 模块 ”主要 目的 是 根据 给 定 的 ZONE 信息 ， 在 交换 机 上 创建 相 
应 的 ZONE。 

云 平台 首先 对 需要 创建 的 ZONE 以 VSAN ID 进行 分 类 ， 将 相同 VSAN ID 的 ZONE 
存放 在 一 起 。 然 后 依次 循环 VSAN ID ， 进 行 ZONE 的 创建 。 创 建 ZONE 完毕 后 添加 
ZONE MEMBER ， 接 着 将 ZONE 添加 到 该 VSAN ID 中 处 于 激活 状态 的 ZONESET 里 ,最 
后 对 ZONESET 进行 激活 。 

(5) 创建 VIEW 模块 ”该 模块 主要 完成 在 存储 设备 上 创建 相应 的 IG ( Initiate 
Group) 、PG 、SG (Storage Group) 和 VIEW。 云 平台 按照 业务 层 传递 的 信息 ， 按 照 以 上 
过 程 最 终 创建 对 应 的 VIEW。 

(6) 结果 验证 模块 ”该 模块 主要 在 存储 分 盘 完 成 后 ,通知 主机 扫 盘 ， 然 后 将 主机 
的 扫 盘 结果 和 存储 分 盘 结 果 进 行 比 对 ， 验 证 两 者 是 否 一 致 。 

云 平台 首先 获取 主机 的 扫 盘 结果 ， 将 相同 的 LUN ID 进行 合并 ， 并 统计 个 数 。 然 后 
获取 程序 分 配给 该 主机 的 结果 信息 ， 按 同样 的 规则 进行 合并 ， 然 后 比较 这 两 者 的 信息 是 
否 一 致 。 由 于 扫 盘 获得 的 结果 中 有 可 能 包含 主机 系统 分 配 存储 之 前 就 存在 的 盘 ， 所 以 需 
要 用 程序 分 配 的 结果 信息 去 匹配 扫 盘 结果 信息 。 

10.2.5.5 工作 流 功能 架构 

工作 流 (Workflow) 就 是 工作 流程 的 计算 模型 ， 即 将 工作 流程 中 的 工作 如 何 前 后 组 
织 在 一 起 的 逻辑 和 规则 在 计算 机 中 以 恰当 的 模型 进行 表示 并 对 其 实施 计算 。 工 作 流 管理 
系统 (Workflow Management System，WFMS) 的 主要 功能 是 通过 计算 机 技术 的 支持 去 定 
义 、 执 行 和 管理 工作 流 ， 协 调 工 作 流 执行 过 程 中 工作 之 间 以 及 群体 成 员 之 间 的 信息 交 
互 。 工 作 流 需要 依靠 工作 流 管理 系统 来 实现 。 工 作 流 管理 系统 为 建造 工作 流 模型 、 运 行 
控制 工作 流 、 用 户 和 工作 流 之 间 交 互 三 个 方面 提供 了 功能 支持 。 

要 实现 云 管理 平台 运 维系 统 的 自动 化 ， 工 作 流 技术 是 驱动 业务 流程 、 协 调运 维 工 
作 、 约 束 任务 执行 的 灵魂 。 工 作 流 技术 替代 了 分 散 、 复 杂 的 线 下 人 工 操作 ， 避 人 免 了 手工 
操作 复杂 、 繁 元 易 出 错 ， 线 下 流程 不 易 管 理 控制 的 问题 。 引 入 工作 流 可 以 有 效 减少 运 维 
工作 量 ， 将 日 常 开 运 维 中 大 量 的 重复 性 工作 由 过 去 的 手工 执行 转 为 自动 化 操作 。 同 时 ， 
工作 流 的 引入 能 够 实现 流程 化 运 维 管理 ， 通 过 流程 驱动 、 组 件 封装 的 方式 实现 专业 化 、 
标准 化 和 流程 化 的 运 维 自动 化 管理 。 此 外 ， 还 能 够 通过 Web 化 的 流程 作业 ， 实 现 透 明 
化 、 可 视 化 的 运 维 管理 。 

根据 云 管理 平台 的 功能 需求 ， 工 作 流 模块 主要 需要 完成 以 下 功能 ， 工作 流 引擎 、 流 
程 设计 器 、 组 件 管理 、 服 务 管理 、 流 程 模 板 管理 以 及 流程 实例 管理 。 

1) 工作 流 引 苟 用 于 解释 流程 定义 ， 支持 自动 任务 和 手工 任务 ,支持 多 任务 并 发 / 
顺序 执行 。 在 流程 控制 方面 ， 在 流程 活动 之 间 进 行 导航 ， 包 括 顺序 或 并 发 的 操作 、 最 后 
期 限 调度 ,支持 条 件 路 由 、 顺 序 流 、 分 支流 、 并 发 流 、 骨 套子 流 、 关 联 子 流 等 流转 
功能 。 

2) 流程 设计 器 包括 开始 、 结 束 、 分 支 、 聚 合 、 子 流程 、 容 器 等 默认 组 件 ， 并 支持 
自 定义 流程 组 件 ， 通 过 拖 搜 的 方式 绘制 流程 模板 ， 设 计 工 作 流 程 。 
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3) 组 件 是 工作 流 流程 的 重要 组 成 部 分 ， 组件 通过 封装 业务 表单 ， 实 现 工作 流 与 业 
务 流程 的 结合 。 组 件 管理 模块 通过 实现 流程 组 件 的 新 增 、 删 除 、 修 改 、 查 询 来 管理 自 定 
义 流程 组 件 。 

4) 服务 包括 脚本 、 命 令 、API 等 业务 操作 ， 是 工作 流 引 擎 所 加 载 的 具体 业务 工作 
内 容 ， 通 过 将 服务 注册 绑 定 组 件 来 实现 业务 接口 的 封装 ， 服 务 管理 模块 通过 实现 流程 服 
务 的 新 增 、 删 除 、 修 改 、 查 询 来 管理 服务 。 

5) 流程 模板 管理 可 以 实现 所 有 已 定义 的 流程 模板 的 查询 功能 以 及 对 具体 模板 的 查 
看 、 修 改 、 删 除 等 管理 功能 。 

6) 流程 实例 需要 有 执行 、 和 暂停、 强制 结束 、 激 活 、 单 步 执行 、 监 控 以 及 查看 运行 
结果 等 管理 操作 ， 此 类 操作 通过 流程 实例 管理 模块 实现 ， 并 包括 对 所 有 流程 实例 的 查询 
和 删除 、 修 改 等 管理 操作 。 

图 10-12 展示 了 云 平台 管理 员 中 云 平台 用 户 和 各 个 组 件 之 间 的 关系 。 
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图 10-12 云 平台 用 户 和 各 组 件 之 间 的 关系 


针对 工作 流 模块 的 需求 分 析 ， 将 工作 流 组 件 的 组 成 设计 如 图 10-13 所 示 ， 主 要 分 为 
工作 流 工 具 和 工作 流 引 擎 两 部 分 。 工 作 流 工具 包括 流程 设计 器 、 组 件 管理 、 服 务 管理 、 
流程 模板 管理 及 流程 实例 管理 ， 在 图 中 对 应 “流程 运行 监控 管理 ”部 分 。 此 部 分 功能 
展现 并 集成 到 云 管理 平台 门户 中 ， 供 平台 管理 员 完 成 服务 流程 的 设计 、 流 程 运行 管理 以 
及 流程 状态 监控 。 工 作 流 引擎 完成 实际 的 流程 运行 流转 ， 云 管理 平台 根据 实际 需要 提供 
定制 的 客户 化 流程 组 件 〈 如 : 各 种 与 资源 层 交 互 的 具体 资源 操作 插件 ) 、 人 工交 互 任务 
处 理 等 。 

目前 云 管理 平台 工作 流 的 功能 如 下 : 

(1) 流程 模型 定义 ”以 JBPM3. 2 为 基础 构建 流程 引擎 ;同时 对 JBPM3. 2 流程 模型 
中 的 流程 节点 、 流 转 控制 、 流 程 活 动 、 上 下 文 传递 等 进行 封装 和 拓展 。 
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图 10-13 ”工作 流 逻 辑 架 构 


根据 业务 场景 的 抽象 定义 ， 设 定 3 个 基础 节点 〈 开 始 、 结 束 、 容 器 ) 、3 个 路 由 节 
点 〈 决 策 、 分 支 、 聚合 ) 和 4 个 业务 节点 〈 人 工 、 自 动 、 等 待 、 子 流 ) 。 所 有 的 流程 元 
素 都 可 以 绑 定 事件 和 动作 ， 来 完成 用 户 定 义 的 相关 操作 ， 可 以 根据 业务 需求 定制 化 地 进 
行 封装 和 拓展 。 

1) 流程 节点 : 

QD 开始 节点 。 作 为 流程 的 起 始 端 ， 其 业务 属性 为 : 完成 客户 端 传递 的 或 预定 义 的 
业务 参数 和 流程 参数 的 初始 化 ， 以 及 初始 动作 的 定义 。 

Q 结束 节点 。 作 为 流程 实例 执行 的 终 节 点 ， 其 业务 属性 为 : 流程 实例 运行 完成 后 ， 
触发 的 其 他 动作 或 改变 状态 等 。 

(3 容 顺 节点 。 作 为 递归 嵌 套 的 节点 ， 其 业务 属性 为 : 在 流程 定义 中 产生 一 些 层次 ， 
可 以 任意 分 组 任何 节点 到 一 个 容器 中 。 同 时 可 以 把 容器 节点 的 特定 事件 和 业务 的 某 些 定 
义 、 边 界 处 理 、 分 组 定义 等 进行 关联 来 表达 业务 。 

则 决策 节点 。 作 为 单 向 的 路 由 节点 ， 其 业务 属性 为 : 决定 流程 实例 的 唯一 分 支 的 
执行 路 径 。 选 择 流程 执行 路 径 的 方式 有 两 种 : 一 种 是 由 预定 义 的 判定 条 件 来 决定 流转 路 
径 ; 另 一 种 是 根据 接口 编写 特定 的 程序 判定 并 指定 流转 路 径 。 该 类 型 节点 适用 单 路 路 由 
的 判定 逻辑 。 

(9) 分 支 节 点 。 作 为 多 路 分 支 的 路 由 节点 ， 其 业务 属性 为 : 把 流程 实例 的 执行 路 径 
分 割 成 多 条 并 发 执行 的 子路 径 ， 各 条 子路 径 可 以 独立 运行 、 互 不 影响 、 不 分 先后 。 在 分 
制 路 径 的 同时 ， 分 支 节点 为 每 条 子路 径 创建 一 个 子 令 牌 ， 这些 子 令 牌 和 进入 该 分 支 节点 
的 令 牌 属于 父子 关系 。 该 类 型 节点 适用 于 多 路 条 件 (默认 ) 并 发 的 业务 逻辑 。 





资源 服务 接口 层 
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(©) 聚合 节点 。 作 为 多 路 聚合 的 路 由 节点 ， 其 业务 属性 为 : 合并 多 条 并 发 执行 的 子 
路 径 ， 并 回收 所 有 子路 径 的 令 牌 。 在 默认 情况 下 ， 聚 合 市 点 认为 到 达 该 节点 的 令 牌 同属 
一 个 父 令 牌 ， 当 由 某 个 分 支 节 点 生成 的 子 令 牌 全 部 进入 聚合 节点 时 ， 聚 合 节 点 销毁 这 些 
子 令 牌 ， 并 通过 唯一 的 输出 变迁 传递 令 牌 ， 继 续 执 行 流 程 实 例 。 同 时 ， 在 聚合 时 可 以 做 
相应 的 业务 定义 及 实现 。 聚 合 节点 与 分 文 节 点 必须 成 对 出 现 。 

CO 等 待 节点 。 作 为 一 个 等 待 属性 的 业务 节点 ， 其 业务 属性 为 : 等 待 外 部 应 用 程序 
或 外 部 系统 的 调用 来 完成 流转 ， 等 点 节点 负责 记录 外 部 驱动 的 执行 、 接 收 外 部 传递 的 信 
息 并 进行 相应 的 业务 处 理 。 

(@) 自动 节点 。 作 为 一 个 自动 执行 属性 的 业务 节点 ， 其 业务 属性 为 : 自动 执行 预定 
义 的 业务 执行 ， 并 当 业 务 执行 完成 后 完成 流程 的 流转 。 所 有 的 自动 执行 的 业务 活动 都 在 
此 创建 ， 调 用 执行 阶段 则 交 给 任务 调度 端 处 理 。 

9) 子 流 节 点 。 作 为 调用 子 流 的 接口 节点 ， 其 业务 属性 为 : 完成 子 流程 的 业务 调用 ， 
从 子 流 定义 上 包括 预定 义 的 子 流 和 根据 业务 参数 动态 加 载 的 子 流 ; 从 执行 类 型 上 包括 流 
程 引擎 内 部 驱动 和 等 待 外 部 驱动 ; 从 执行 方式 上 包括 同步 执行 和 异步 执行 。 

40 人 工 节 点 。 作 为 资源 (参与 者 ) 分 派 的 业务 节点 ， 其 业务 属性 为 : 通过 和 组 织 
权限 的 集成 ， 来 定义 该 人 工 节 点 的 组 和 成 员 ， 并 控制 组 和 成 员 的 功能 权限 和 数据 权限 。 
同时 ， 依 据 人 工 节点 的 属性 并 集成 业务 实际 ， 动 态 的 创建 任务 ， 完 成 基础 的 任务 分 派 ， 
并 实现 会 签 、 传 阅 、 加 签 、 转 交 、 委 托 代办 等 功能 。 

2) 流转 和 状态 控制 。 

Q 流转 控制 是 流程 实例 在 运行 中 基于 变迁 的 路 由 指定 以 及 记录 流程 的 流转 信息 。 
首先 在 流程 节点 元 素 中 已 包括 了 单 路 条 件 (默认 ) 执行 、 多 路 条 件 (默认 ) 并 发 执行 
和 多 路 聚合 的 实现 ， 则 在 流转 控制 阶段 只 要 完成 路 由 指向 的 相关 功能 ， 即 退回 提交 、 回 
退 、 特 定 路 由 (如; 同意 /驳回 ) 、 任 意 路 由 指定 等 流转 控制 场景 。 

@ 流程 的 状态 控制 包括 启动 、 和 暂停、 激活、 结束 、 强 制 结束 、 重 启 等 ， 在 jB- 
PM3. 2 流程 引擎 本 身 的 实现 上 已 经 包含 ， 只 需要 把 通过 任务 调度 的 状态 控制 部 分 进行 
业务 上 的 暂停 和 激活 的 重新 定义 。 

3) 流程 活动 。 流 程 活动 包括 业务 节点 动作 、 基 于 特定 事件 的 动作 和 基于 脚本 的 通 
过 流程 参数 的 路 由 判定 。 其 具体 的 调用 通过 实现 jBPM 的 标准 接口 ， 并 通过 Web Service 
的 调用 来 完成 业务 端的 具体 业务 执行 的 调用 。 标 准 的 流程 活动 实现 包括 : 

Q 基于 自动 任务 节点 的 自动 任务 的 调用 ， 包括 API 的 调用 、 脚 本 执行 、 命 令 执 





行 等 。 
@ 基于 人 工 节点 的 任务 分 派 及 消息 通知 。 

@ 基于 子 流 节点 的 子 流 调用 。 

@ 基于 等 待 节点 的 外 部 接口 任务 的 调用 。 

@ 基于 Beanshell 的 条 件 表达 式 的 封装 与 解析 。 

4) 上 下 文 传递 。 流 程 的 上 下 文 是 指 流程 实例 运行 过 程 当 中 产生 的 流程 数据 和 业务 
数据 。 其 中 流程 的 上 下 文 传递 通过 标准 的 JBPM3. 2 实现 ， 业 务 的 上 下 文 传递 通过 在 流 
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程 实例 开始 阶段 的 定义 和 业务 执行 当中 的 上 下 文 的 交互 定义 来 实现 。 

(2) 流程 建 模 工具 ”通过 图 形 化 的 方式 描述 业务 过 程 ， 将 业务 过 程 的 执行 逻辑 、 
业务 环节 的 执行 规则 和 内 容 进行 定义 ， 实现 业 务 过 程 的 流程 化 定义 。 

流程 设计 器 分 四 块 区 域 ， 即 操作 菜单 、 流 程 定 义 列表 、 流 程 组 件 (基础 组 件 和 业 
务 组 件 ) 和 流程 画布 。 

1) 操作 菜单 提供 新 建 、 导 入 、 保 存 和 发 布 流程 定义 四 项 操作 。 

2) 流程 定义 列表 ， 可 以 通过 右键 菜单 进行 编辑 、 删 除 、 复 制 、 导 出 、 发 布 等 功能 
操作 。 

3) 流程 组 件 中 的 基础 组 件 为 默认 加 载 ， 业 务 组 件 是 通过 流程 组 件 动 态 加 载 ， 容 器 
组 件 的 业务 化 实现 在 流程 画布 的 分 组 中 。 

4) 流程 画布 作为 绘制 流程 的 操作 台 ， 通 过 拖 搜 的 方式 实现 流程 定义 。 画 布 上 方 的 
菜单 栏 提 供 方 便 快 捷 键 辅助 画图 等 。 

另外 ， 基 础 流程 组 件 根据 业务 功能 的 定位 ， 都 绑 定 了 一 个 默认 的 配置 表单 ; 业务 流 
程 组 件 和 服务 模板 的 集成 也 在 流程 设计 器 上 进行 数据 配置 。 

(3) 模板 及 组 件 管理 

1) 流程 模板 。 流 程 模板 作为 一 个 完整 的 业务 过 程 的 流程 化 映射 ， 业 务 过 程 的 实例 
化 都 源 于 流程 模板 。 在 流程 模板 中 通过 版 本 来 管理 业务 过 程 的 变更 ， 同 时 也 可 以 对 业务 
环节 的 数据 进行 修订 。 

2) 服务 模板 。 对 业务 场景 的 抽象 化 、 模 型 化 的 定义 。 

Q9 基本 信息 : 名 称 、 返 回 码 (业务 执行 结果 的 判定 标识 ) 、 业 务 类 型 (基于 业务 
的 分 类 ) 、 执 行 类 型 〈 流 程 组 件 的 关联 ) 和 执行 路 径 〈 流 程 引擎 对 应 的 处 理 业 务 执行 的 
接口 ) 。 

@) 属性 信息 : 以 key-value 的 格式 进行 定义 ， 包 括 I0 类 型 及 其 对 应 的 操作 。 其 中 
I0 的 操作 包括 对 I0 数据 进行 传递 和 解析 并 可 以 完成 三 种 操作 : 变 为 全 局 的 业务 变量 、 
变 为 全 局 的 流程 变量 、 变 为 全 局 的 业务 和 流程 变量 。 

3) 流程 组 件 。 建 立 服务 和 流程 引擎 的 接口 的 关联 。 流 程 组 件 包 括 名 称 、 类 型 ( 工 
作 流 节点 类 型 的 业务 选择 ) 、 页 面 路 径 〈 流 程 组 件 和 业务 表单 的 关联 ) 和 接口 路 径流 
程 组 件 调用 业务 执行 的 接口 ) 。 

(4) 流程 实例 ”流程 实例 是 基于 流程 图 显示 业务 执行 过 程 ， 对 流程 进行 人 工控 制 ， 
对 自动 化 环节 进行 人 为 干预 的 模块 。 

1) 自动 化 节点 的 通用 执行 类 型 的 定义 : 

人 自动 执行 : 自动 执行 预定 义 的 自动 化 操作 。 

@ 手动 执行 : 通过 人 工 发 起 业务 操作 的 执行 。 

@) 路 过 执行 : 跳 过 某 节点 的 执行 ， 直 接 流转 到 下 一 节点 。 

2) 自动 化 节点 的 通用 操作 类 型 的 定义 : 

人 单 步 执行 并 流转 到 下 一 环节 。 

@) 仅 单 步 执行 。 
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(3) 不 执行 业务 直接 跳 转 到 下 一 节点 。 

(9 查看 运行 日 志 。 

3) 自动 化 流程 的 流转 及 状态 控制 。 

QD 流转 控制 包括 任意 节点 的 指向 、 重 新 启动 。 

@) 状态 控制 包括 暂停 、 激 活 与 强制 结 

4) 权限 控制 。 默 认 情 况 下 在 流程 实例 的 权限 控制 是 开放 的 ， 其 泛 化 的 约束 为 : 

QD 未 执行 的 自动 环节 无 执行 的 操作 权限 。 

@) 已 结束 的 流程 无 任何 的 操作 权限 。 

(3 执行 完成 的 环节 但 流程 未 结束 可 以 反复 执行 。 

(4 进行 分 组 的 前 提 下 ， 除 了 默认 约束 外 ， 只 有 指定 组 内 的 成 员 可 以 操作 分 组 下 的 
自动 环节 。 

5) 业务 执行 的 异常 控制 定义 : 

QD 异常 挂 起 等 待人 工 处 理 。 

@) 忽略 异常 继续 流转 。 

@) 强制 结束 流程 。 

(5) 任务 管理 人 工 任务 在 人 工 任务 节点 的 定义 及 流程 实例 运行 时 的 任务 分 配 、 
待 办 事宜 的 创建 、 消 息 的 通知 提醒 、 用 户 自 定义 业务 页 面 舱 入 流程 的 流转 控制 以 及 预定 
义 数据 权限 和 功能 权限 的 页 面 引用 的 接口 提供 。 

(6) 流程 监控 ”监控 管理 分 为 两 部 分 : 对 流程 实例 的 监控 和 对 运行 时 异常 的 管理 。 
其 中 流程 实例 的 监控 通过 业务 环节 执行 状态 和 流程 流转 的 图 形 化 呈现 进行 表达 ; 运行 时 
异常 是 对 由 于 内 部 代码 缺陷 或 者 外 部 环境 问题 造成 的 流转 中 断 进 行 恢复 。 














10.3 发 布 及 变更 


10.3.1 变更 管理 设计 及 实现 


变更 管理 、 发 布 管理 和 配置 管理 是 IT 服务 管理 中 最 核心 的 环节 ， 但 流程 和 工具 的 
衔接 断层 是 开 服务 管理 实施 的 一 大 难点 ， 导 致 了 ITIL 最 佳 实践 的 “最 后 一 公里 ”无 法 
顺利 落地 。 和 针对 这 一 业界 难题 ， 建 行 的 云 管理 平台 不 仅 实现 了 基础 设施 的 自动 化 ， 还 将 
配置 管理 、 变 更 管理 、 发 布 管理 的 自动 化 作为 重要 目标 。 

在 业界 “配置 管理 关联 变更 ”的 最 佳 实践 基础 上 ， 建 行 的 云 管理 平台 的 一 大 创新 
是 进一步 实现 了 “配置 管理 驱动 变更 ”， 实 现 了 配置 管理 、 变 更 管理 、 发 布 管理 的 一 体 
化 和 自动 化 。 将 ITIL 最 佳 实践 固化 到 系统 中 ， 利 用 云 平 台 集 中 统一 的 自动 化 管理 ， 强 
制 用 户 在 运 维 管理 过 程 中 执行 最 佳 实践 ， 实 现 ITIL 关键 流程 从 理论 到 落地 延伸 的 巨大 
转变 。 建 行 的 云 管理 平台 和 服务 管理 流程 平台 进行 了 深度 的 集成 ,实现 了 服务 申请 、 服 
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务 审批 、 服 务实 施 、 服 务 交 付 等 环节 的 关联 与 互通 ， 达 到 了 运 维 流程 的 自动 化 。 具 体 来 
说 ,就 是 由 流程 平台 负责 人 工 审批 环节 ， 由 云 管理 平台 负责 自动 化 环节 ， 实 现 变更 过 程 
的 授权 审批 与 变更 执行 的 一 体 化 、 标 准 化 与 自动 化 。 由 于 人 工 审批 环节 的 设计 与 实现 与 
企业 的 组 织 架 构 和 管理 紧密 相关 ， 本 节 主 要 着 重 描述 建行 变更 自动 化 的 设计 与 实践 
经 验 。 

建行 云 平 台 变 更 自动 化 管理 系统 的 总 体 功能 在 结构 上 分 为 配置 管理 层 和 自动 化 执行 
层 。 配 置 管理 层 主要 提供 配置 参数 信息 的 维护 和 管理 功能 ， 自 动 化 执行 层 则 负责 变更 的 
自动 化 执行 。 其 中 配置 管理 分 为 应 用 配置 管理 和 平台 配置 管理 两 部 分 。 应 用 配置 包括 应 
用 人 逻辑 部 署 结构 、 应 用 操作 用 户 、 应 用 变更 操作 定义 、 应 用 变更 相关 脚本 等 。 平 台 配 置 
包括 操作 系统 参数 、 用 户 、 用 户 组 、NAS、ulimits、JDK 等 基础 软件 。 在 “配置 管理 驱 
动 变更 ”的 原则 指导 下 ， 建 行 云 平台 实现 了 日 常 变 更 大 部 分 操作 的 标准 化 和 预定 义 。 
自动 化 执行 层 基 于 开源 软件 Puppet 和 MCollective 实现 ,根据 建行 的 实际 应 用 需求 ， 进 
行 了 大 量 的 二 次 开发 ， 实 现 了 开源 软件 与 云 平台 的 深度 整合 ， 并 做 了 大 量 的 功能 扩展 。 
通过 与 虚拟 机 供给 流程 的 整合 实现 了 Puppet 的 自动 化 安装 与 纳 管 ， 提 供 了 开 箱 即 用 的 
自动 化 能 力 。 

在 应 用 变更 方面 建行 云 平 台 主要 做 了 以 下 方面 的 实践 : 

1. 应 用 系统 逻辑 结构 标准 化 

建行 的 应 用 按照 子 系统 、 部 署 单元 两 个 层次 进行 管理 。 子 系统 对 应 逻辑 上 的 应 用 系 
统 ， 部 署 单元 指 的 是 同一 种 功能 类 型 (如 AP、WEB、DB)， 并 且 提 供 相 同业 务 功能 的 
一 组 应 用 服务 器 集群 。 建 行 云 管理 平台 提供 了 部 署 单元 的 录入 、 查 看 功能 ， 并 以 部 署 单 
元 作为 管理 的 标准 单位 。 应 用 系统 管理 员 以 部 署 单元 为 单位 ， 录 入 所 需要 的 应 用 系统 配 
置 和 操作 信息 ， 云 平台 负责 实施 后 续 操 作 。 

2. 应 用 变更 操作 标准 化 

通过 对 日 常 应 用 变更 步骤 的 汇总 分 析 ， 建 行 云 平台 将 应 用 变更 操作 标准 分 为 8 个 步 
又 ,包括 启动 或 停止 应 用 服务 、 标 准备 份 、 定 制备 份 、 标 准 应 用 分 发 、 定 制 应 用 分 发 、 
系统 文件 分 发 、 标 准 回 退 和 定制 回 退 。 在 标准 操作 之 外 的 操作 由 各 系统 自己 定义 ， 云 平 
台 提 供 相 应 的 统一 的 自 定 义 操作 入 口 。 标 准 操作 的 执行 方式 、 脚 本 编写 、 文 件 存 放 都 按 
照 统 一 规范 进行 约束 。 操 作 标准 化 一 方面 固化 了 应 用 变更 的 操作 步骤， 这 样 就 有 利于 经 
验 的 积累 和 继承 ; 另 一 方面 也 减少 了 数据 中 心 运 维 人 员 与 开发 中 心 开 发 人 员 之 间 沟 通 的 
成 本 。 

3. 应 用 变更 与 工作 流 的 紧密 集成 

建行 云 平 台 的 应 用 变更 底层 依赖 工作 流 驱 动 ， 通 过 工作 流 进行 变更 步骤 的 编排 。 变 
更 执行 人 员 可 以 挑选 变更 操作 灵活 组 装 变 更 流程 ， 或 者 通过 线 下 编写 并 通过 审批 的 变更 
控制 表 导 入 生成 变更 流程 。 在 流程 执行 过 程 中 ， 用 户 还 可 以 选择 变更 操作 的 机 器 ， 对 于 
大 批量 的 变更 ， 可 以 先 选 择 部 分 机 器 进行 验证 然后 批量 执行 ， 降 低 变更 操作 风险 。 在 流 
程 执行 过 程 中 ， 用 户 也 可 以 实时 地 查看 操作 日 志 ， 了 解 变更 操作 的 结果 。 通 过 工作 流 的 
引入 ， 实 现 了 变更 操作 的 灵活 编排 和 变更 的 可 视 化 ， 既 提高 了 变更 的 效率 也 能 有 效 地 降 
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低 变更 风险 。 

4. 应 用 变更 与 平台 变更 紧密 集成 

目前 在 各 商业 银行 数据 中 心 日 常 运 维 中 ， 应 用 变更 操作 与 平台 变更 操作 往往 由 不 同 
的 部 门 负 责 ， 一 旦 遇 上 大 的 变更 则 需要 两 个 部 门 的 大 量 沟通 与 配合 工作 ， 比 如 ， 先 由 应 
用 运 维 人 员 停 止 应 用 服务 ， 接 着 平台 运 维 人 员 重 启 操作 系统 ， 然 后 应 用 运 维 人 员 启 动 应 
用 服务 ， 最 后 由 平台 运 维 人 员 启 动 监控 等 运 维 工具 等 。 可 以 看 到 一 个 变更 需要 多 个 不 同 
部 门 的 人 员 协 同 配合 ， 在 一 切 顺 利 的 情况 下 还 好 说 ， 一 旦 某 个 环节 遇 到 问题 就 乱 成 一 团 
了 。 既 耗费 了 大 量 的 沟通 时 间 ， 还 容易 因为 沟通 原因 引起 操作 失误 。 建 行 云 平台 通过 工 
作 流 引擎 将 应 用 变更 操作 和 平台 变更 操作 编排 在 一 起 ， 运 维 人 员 在 一 个 操作 界面 上 就 可 
以 完成 整个 变更 操作 ， 不 仅 变更 过 程 一 目 了 然 ， 而 且 能 够 有 效 地 提高 变更 效率 ， 减 少 沟 
通 成 本 ， 降 低 变 更 风险 。 

5. 配置 参数 统一 管理 

建行 云 平台 配置 参数 管理 的 设计 目标 是 集中 、 统 一 管理 平台 系统 配置 参数 ， 利 用 自 
动 化 工具 实现 配置 批量 更 新 ， 减 少 手 工 变更 风险 ， 提 高 工作 效率 。 平 台 配 置 参 数 管 理 的 
逻辑 架构 如 图 10-14 所 示 。 
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图 10-14 平台 配置 参数 管理 的 逻辑 架构 

注 : lv: 人 逻辑 卷 ; nas: 此 处 指 LINUX 操作 系统 上 的 NAS (网 络 附属 存储 ) 挂 载 点 配置 ，ulimits: 用 
于 设置 shell 启动 进程 所 占用 的 资源 ， 是 LINUX 操作 系统 上 的 配置 文件 ; sysetl: 用 于 查看 、 设 置 /proc/ 
sys 目录 中 内 核 设 置 ，software: 用 于 管理 操作 系统 所 需 安 装 的 软件 ;hosts: 一 个 没有 扩展 名 的 系统 文件 ， 
其 作用 就 是 将 一 些 常 用 的 网 址 域名 与 其 对 应 的 卫 地 址 建立 一 个 关联 “数据 库 ”。 

















































































































建行 云 平台 以 部 署 单元 为 单位 管理 常用 的 平台 配置 参数 ， 配 置 项 可 以 根据 需求 定义 
扩展 。 

在 配置 实施 层面 ， 建 行 云 平台 支持 以 下 功能 ; 

1) 支持 配置 数据 批量 导入 ， 用 户 可 以 通过 Excel 编辑 需要 变更 的 配置 参数 ， 批 量 
导入 云 平 台 配 置 库 。 云 平台 负责 对 导入 数据 的 合法 性 、 逻 辑 性 进行 校 验 。 对 于 大 批量 新 
上 线 的 机 器 而 言 ， 配 置 参数 的 批量 导入 是 效率 最 高 的 操作 方式 。 
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2) 支持 配置 文件 版 本 比 对 。 通 过 配置 版 本 比 对 ， 能 够 及 时 发 现 配 置 差异 ， 有 效 避 
免 变 更 风险 ， 能够 了 解 配置 的 变更 历史 ， 起 到 配置 审计 的 作用 。 

3) 配置 预览 。 在 配置 实施 前 ， 可 以 先进 行 配置 更 新 预览 ， 用 云 平 台 最 新 的 配置 参 
数 与 实际 机 器 上 的 配置 参数 进行 比 对 ， 清 晰 地 了 解 本 次 配置 变动 的 内 容 ， 能 够 有 效 避 人 免 
误 操作 。 

4) 配置 项 、 目 标 机 器 灵活 选择 。 在 实施 配置 更 新 时 ， 云 平台 文 持 选 择 需 要 更 新 的 
配置 项 和 更 新 的 目标 机 器 ， 用 户 可 以 选择 一 个 或 者 多 个 配置 项 ， 大 大 地 提高 了 变更 的 可 
操作 性 和 灵活 性 。 

在 平台 变更 管理 方面 ， 建 行 云 平 台 主要 做 了 以 下 方面 的 实践 ， 

1) 对 开源 软件 进行 深度 整合 和 二 次 开发 。 建 行 云 平台 配置 管理 底层 基于 Puppet 开 
源 软 件 实现 ， 首 先 对 Puppet 的 使 用 方式 进行 接口 标准 化 ， 整 个 云 平台 使 用 统一 接口 与 
Puppet 进行 交互 ， 其 次 对 Puppet 的 功能 进行 扩展 ， 针 对 建行 的 需求 开发 大 量 新 的 模块 
和 Facter， 扩 展 Puppet 的 功能 。 另 外 ,为 了 降低 用 户 使 用 的 复杂 性 和 减少 操作 的 风险 ， 
云 平台 基于 Puppet 和 MCollective 专门 开发 和 封装 了 一 些 专用 的 命令 和 脚本 ， 大 大 方便 
了 日 常 的 运 维 操作 。 

2) 两 地 三 中 心 的 支持 。 建 行 云 平 台 建 设 之 初 就 考虑 了 多 数据 中 心 支持 的 问题 。 具 
体 的 平台 配置 层面 ， 基 于 Puppet 的 架构 特点 ， 建 行 云 平台 设计 了 一 套 管理 系统 管理 多 
套 Puppet 系统 的 架构 ， 在 每 个 数据 中 心 都 部 署 了 一 套 独立 的 Puppet 配置 管理 系统 ， 所 
有 的 Puppet 都 由 建行 云 平 台 进 行 统一 调度 管理 ,实现 了 用 户 操 作 入 口 和 操作 模式 的 统 
一 ， 也 减少 了 云 平 台 自 身 的 运 维 压力 。 另 外 ， 各 数据 中 心 Puppet 系统 互相 隔离 ， 能 
有 效 隔离 操作 的 风险 ， 避 免 互 相 影响 。 

3) 多 种 使 用 模式 支持 。 相 对 于 应 用 变更 基本 上 都 是 以 系统 为 单位 ,平台 变更 的 应 
用 场景 更 具 多 样 性 。 既 有 以 操作 系统 为 维度 的 变更 ， 比 如 按 Linux、AIX、Windows 划 
分 ,也 有 按照 物理 机 、 虚 拟 机 为 维度 的 变更 ， 也 有 按照 资源 池 、 集 群 维度 的 变更 运 维 。 
建行 云 平台 支持 多 种 维度 的 变更 范围 选择 ， 既 可 以 按照 数据 中 心 一 资源 池 一 集群 维度 ， 
也 可 以 按照 操作 系统 属性 、 机 器 类 型 、 中 间 件 类 型 等 属性 选择 变更 的 设备 ， 使 得 云 平台 
可 以 支持 不 同 需 求 的 变更 操作 。 

4) 分 级 权限 控制 。 建 行 云 平 台 对 不 同 风 险 级 别 的 操作 采取 不 同 的 权限 控制 策略 ， 
对 于 高 风险 的 操作 都 进行 二 次 授权 控制 ， 并 且 对 所 有 的 变更 操作 都 记录 操作 日 志 ， 方便 
进行 操作 审计 。 









































10.3.2 应 用 发 布 管 理 设 计 及 实现 


应 用 自动 化 发 布 是 实践 DevOps 的 关键 环节 之 一 ， 应 用 发 布 管理 为 应 用 程序 、 应 用 
配置 和 应 用 数据 提供 了 自动 化 操作 接口 。 建 行 云 平 台 通过 工作 流 引 擎 模块 ， 实 现 部 署 单 
元 各 原子 操作 的 组 合 ， 并 完成 应 用 版 本 发 布 、 应 用 日 常 运 维 的 相关 操作 。 各 应 用 系统 以 
部 署 单 元 为 单位 ， 定 义 和 执行 各 系统 的 自动 化 运 维 操作 。 
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建行 云 平台 将 应 用 发 布 和 日 常 运 维 涉及 的 操作 步 又 分 解 为 多 个 独立 的 原子 操作 ， 通 
过 原子 操作 的 编排 和 组 合 ， 实 现 灵 活 的 自动 化 操作 。 通 过 对 变更 步骤 的 总 结 与 分 析 ， 建 
行 云 平 台 把 应 用 发 布 操作 分 为 两 类 : 一 类 为 标准 操作 ， 男 一 类 为 用 户 个 性 化 的 自 定义 
操作 。 

(1) 标准 原子 操作 ” 云 平台 提供 了 8 种 原子 操作 。 

1) 启动 或 停止 应 用 服务 ,完成 应 用 的 启动 或 停止 操作 。 由 云 平台 统一 规定 启 停 脚 
本 路 径 和 名 称 ， 各 个 应 用 系统 负责 按照 统一 的 规范 编写 脚本 内 容 。 

2) 标准 备份 : 针对 变更 前 的 应 用 版 本 文件 进行 本 地 备份 。 由 云 平台 提供 备份 脚 
本 ， 应 用 系统 提供 备份 的 源 路 径 、 目 标 路 径 、 排 除 文件 。 

3) 定制 备份 : 如 标准 备份 无 法 满足 备份 需要 ， 应 由 应 用 系统 脚本 按照 统一 的 规范 
自行 编写 。 

4) 标准 应 用 分 发 : 由 开发 人 员 按照 云 平台 的 打包 规范 ， 将 测试 完成 的 程序 代码 构 
建成 版 本 包 。 云 平台 提供 标准 脚本 ， 用 户 提供 分 发 的 应 用 版 本 名 称 、 文 件 路 径 等 ， 云 平 
合 自动 从 版 本 服务 器 获取 应 用 版 本 ,实现 版 本 包 的 文件 下 发 、 解 奈 、 权 限 设置 、 更 新 和 
校 验 。 

5) 定制 应 用 分 发 : 如 果 标 准 应 用 分 发 无 法 满足 需要 ， 应 用 系统 可 以 编写 分 发 脚本 
实现 个 性 化 的 应 用 分 发 需求 ， 云 平台 负责 分 发 版 本 包 和 执行 用 户 定制 的 脚本 。 

6) 系统 文件 分 发 : 实现 操作 系统 级 文件 的 分 发 ， 考 虑 操作 风险 ， 目 前 仅 文 持 部 分 
文件 的 分 发 。 

7) 标准 回 退 : 针对 标准 备份 文件 的 回 退 ， 采 用 标准 回 退 时 由 云 平台 提供 回 退 脚 
本 ， 按 照 备 份 时 指定 的 源 和 目标 进行 回 退 。 

8) 定制 回 退 : 针对 定制 备份 文件 的 回 退 ， 回 退 时 云 平台 执行 由 应 用 管理 员 开 发 的 
回 退 脚本 。 

(2) 目 定 义 操作 当 标 准 原 子 操作 无 法 满足 需要 时 ， 应 用 系统 管理 员 或 者 开发 人 
员 可 以 根据 去 平台 统一 的 规范 自 定义 操作 ， 实 现 个 性 化 的 需求 。 

自动 化 的 前 提 是 标准 化 和 规范 化 ， 为 了 保证 自动 化 运 维 的 顺利 推进 ， 建 行 云 平台 制 
定 了 一 系列 的 规范 ， 对 自动 化 涉及 的 脚本 编写 和 版 本 文件 打包 等 操作 进行 了 标准 化 和 规 
范 化 。 



































10.4 运 维 大 数据 分 析 





云 计算 和 大 数据 是 一 个 硬币 的 两 面 ， 云 计算 是 大 数据 成 长 的 驱动 力 ， 而 另 一 方面 ， 
由 于 数据 越 来 越 多 、 越 来 越 实 时 ， 这 就 需要 云 计算 进行 处 理 ， 两 者 相辅相成 。 同 时 ， 云 
计算 环境 的 复杂 度 越 来 越 高 ， 新 技术 应 用 越 来 越 多 ， 这 就 为 数据 中 心 运 维 带 来 了 更 大 的 
挑战 那么 利用 大 数据 技术 分 析 运 维 环境 的 各 项 指标 ， 0 实时 、 有 效 的 
运行 分 析 结 果 ， 为 不 同 维度 的 管理 、 运 维 人 员 提 供 决 策 依据 ， 提 高 运 维 效率 和 服务 
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质量 。 
10. 4.1 大 数据 技术 


10.4.1.1 数据 采集 技术 

1. Flume 

Flume 是 一 个 高 可 用 的 、 高 可 靠 的 、 分 布 式 的 海量 日 志 采 集 、 聚 合 和 传输 的 工具 ， 
最 新 版 本 为 1. 5.2，Flume 支持 在 日 志 系 统 中 定制 各 类 数据 发 送 方 ， 用 于 收集 数据 ;， 同 
时 ，Flume 提供 对 数据 进行 简单 处 理 ， 并 写 到 各 种 数据 接受 方 的 能 力 ，Flume 可 以 从 
console 、Thrift 、text 、tail 、syslog 、exec 等 数据 源 上 收集 数据 ， 并 可 以 将 数据 写 人 本 地 
文件 系统 、HDFS 、ElasticSearch 等 目标 。Flume 架构 示意 图 如 图 10-15 所 示 。 











图 10-15 ”Flume 架构 示意 图 

注 ;: Web Server: Web 服务 器 ; Agent: 一 个 独立 的 Flume 进程 ， 包 含 组 件 Source 、Channel 和 Sink; 

Source: 数据 ; Channel: 中 转 数据 的 一 个 临时 存储 ， 保 存 有 Source 组 件 传 递 过 来 的 数据 ; Sink: 从 

Channel 中 读 取 并 移 除 数据 ， 并 将 数据 传递 到 管道 中 的 下 一 个 处 理 节点 ; HDFS: 分 布 式 文件 系统 ， 用 
于 存储 数据 。 














2. Logstash 

Logstash 是 一 个 事件 与 日 志 管 理工 具 。 用 户 可 以 用 它 来 收集 日 志 并 加 以 解析 ， 还 可 
以 把 它们 存储 起 来 以 备 后 续 使 用 ， 比 如 检索 。 Logstash 通常 与 ElasticSearch 、Kibana 
(ELK) 一 起 使 用 。 

10. 4.1.2 全 文 检索 技术 

1. Solr 

Solr 是 一 个 基于 Lucene 的 全 文 检索 平台 。 它 提供 了 基于 Http 的 Rest-like 操作 接口 ， 
具有 高 可 扩展 的 开放 架构 ， 提 供 了 强大 的 WEB 管理 界面 。 有 多 种 客户 端 ， 即 Ruby、 
PHP、 Java、 Python、. NET、Perl 和 JavaScript。 

Solr 在 版 本 4.0 以 后 发 布 SolrCloud。SolrCloud 是 基于 Solr 和 ZooKeeper 的 一 套 分 
布 式 搜索 方案 ,具备 了 集中 式 的 配置 信息 、 自 动容 错 、 近 实时 搜索 、 查 询 时 自动 负载 均 
衡 、 自 动 分 发 的 索引 和 索引 分 片 、 事 务 日 志 等 特性 。 

2. ElasticSearch 
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ElasticSearch (以 下 简称 ES) 也 是 一 个 基于 Lucene 的 实时 检索 与 分 析 引 擎 ， 虽 然 
诞生 较 晚 ,但 是 具有 天 生 的 分 布 式 架构 以 及 良好 的 可 扩展 性 ， 提 供 了 全 文 搜索 能 力 、 多 
语言 支持 、 专 门 的 查询 语言 、 支 持 地 理 位置 服 务 、 基 于 上 下 文 的 搜索 建议 、 自 动 完成 以 
及 搜索 片段 的 能 力 。 近 年 来 ，ES 社区 发 展 迅 狐 ， 已 经 发 布 了 重大 更 新 版 本 2.0。 其 生 
态 系统 也 日 至 完善 ， 不 但 可 以 和 其 子 项 目 Logstash 、Kibana 无 颖 集成 ， 也 支持 诸多 的 客 
户 端 及 接口 。 

ES 发 布 的 可 以 通过 其 插件 Elasticsearch for Apache Hadoop 与 Hadoop 深度 集成 。Ha- 
doop 在 设计 上 就 是 一 个 分 布 式 的 ， 面 向 批 处 理 的 平台 ， 用 以 处 理 大 数据 集 。 虽 然 它 是 
一 个 非常 强大 的 工具 ,但 它 的 批 处 理 本 质 意 味 着 在 处 理 结 果 时 需要 花费 一 定时 间 。 此 
外 ， 用 户 必须 重新 为 各 种 操作 编写 代码 ， 用 户 门槛 较 高 。Elasticsearch for Apache Ha- 
doop 为 Hadoop 提供 了 直接 的 整合 功能 ， 因 此 用 户 使 用 起 来 没有 任何 障碍 ， 支 持 Map/ 
Reduce、Cascading、Pig、Spark 和 HIVE。 这 样 可 以 以 HDFS 一 样 的 方式 访问 Elastic- 
search 的 数据 了 。 

3. Splunk 

Splunk 是 一 个 全 数据 、 日 志 分 析 软 件 ， 支 持 的 平台 包含 Windows、Linux 、Solaris 、 
FreeBSD、AIX、MacOS 和 HP- UX。Splunk 可 以 支持 任何 IT 设备 (服务 器 、 网 络 设备 、 
应 用 程序 、 数 据 库 等 ) 所 产生 的 日 志 ， 其 对 日 志 进 行 处 理 的 方式 是 进行 高 效 索引 之 后 
让 管理 员 可 以 对 日 志 中 出 现 的 各 种 情况 进行 搜索 ,并 且 通 过 非常 好 的 图 形 化 方式 展现 
出 来 。 

Splunk 是 一 款 对 IT 管理 员 非 常 有 用 、 非 常 专业 的 工具 。 也 正 因 为 如 此 ， 与 之 前 介 
绍 的 产品 不 同 ，Splunk 是 一 个 商业 软件 ,但 是 其 提供 了 可 以 自由 使 用 的 Splunk 测试 版 
且 可 以 免费 下 载 ， 免 费 版 每 天 最 大 新 增 数据 量 为 500MB ， 在 使 用 免费 版 时 ， 如 果 在 30 
天 之 内 ， 有 7 天 的 索引 数据 量 超过 500MB ， 那 么 就 不 可 以 再 搜索 了 ， 而 如 果 需 要 海量 授 
权 及 更 多 的 功能 ， 比 如 分 散 式 搜寻 ( Distributed Search) 、 排 程 告警 (Schedule Alert) 、 
权限 (Access Control) 等 功能 ， 则 需要 购买 企业 版 。 

Splunk 的 四 大 应 用 是 : 运 维 开 数据 整合 、IT 安全 信息 及 数据 的 整合 、 应 用 程序 IT 
数据 整合 和 IT 数据 的 法 规 遵从 。Splunk 的 六 大 功能 是 : Index (索引 ) 、Search ( 搜 
索 ) 、Alert (警报 通知 ) 、Report (报告 ) 、Share (资源 共享 ) 和 Secure (安全 功能 ) 。 

Splunk 可 以 实时 对 任何 App、 服 务 器 或 网 络 设备 的 数据 进行 索引 并 提供 搜索 ， 这 些 
数据 可 以 是 日 志 、 配 置 文件 、 消 息 和 告警 等 。 利 用 Splunk 可 监控 分 布 部 署 在 多 个 数据 
中 心 的 成 千 上 万 台 服 务 器 ， 可 以 管理 Paas 云 的 基础 设施 ， 可 监控 云 交 付 Saas 解决 方案 
的 性 能 ， 并 可 监控 Saas 与 托管 混合 型 的 数据 中 心 。 

10.4.1.3 数据 分 析 技 术 

数据 分 析 领 域 ， 既 有 开源 的 R 语言 与 Mahout， 也 有 商用 产品 SAS 和 SPSS 。 

1. R 语言 

R 语言 是 一 套 完整 的 数据 处 理 、 计 算 和 制图 软件 系统 。 其 功能 包括 数据 存储 和 处 理 
系统 ; 数组 运算 工具 (其 向 量 、 和 矩阵 运算 方面 功能 尤其 强大 ) ; 完整 连贯 的 统计 分 析 工 
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具 ; 优秀 的 统计 制图 功能 ; 简便 而 强大 的 编程 语言 : 可 操纵 数据 的 输入 和 输出 ， 可 实现 
分 支 与 循环 ， 以 及 用 户 可 自 定义 功能 。 

与 其 说 R 语言 是 一 种 统计 软件 ， 还 不 如 说 R 语言 是 一 种 数学 计算 的 环境 ， 因 为 R 
语言 并 不 是 仅仅 提供 若干 统计 程序 ， 使 用 者 只 需 指 定数 据 库 和 若干 参数 便 可 进行 一 个 统 
计 分 析 。R 语言 的 思想 是 : 它 可 以 提供 一 些 集成 的 统计 工具 ， 但 更 多 的 是 它 提 供 了 各 种 
数学 计算 、 统 计 计 算 的 函数 ， 从 而 使 使 用 者 能 够 灵活 机 动 地 进行 数据 分 析 ， 甚 至 创造 出 
符合 需要 的 新 的 统计 计算 方法 。 

2. Mahout 

Mahout 是 基于 Hadoop 的 数据 挖掘 和 机 带 学 习 的 算法 框架 ，Mahout 的 重点 同样 是 解 
决 大 数据 计算 的 问题 。Mahout 目前 已 支持 的 算法 包括 ， 协 同 过滤 、 推 荐 算法 、 聚 类 算 
法 、 分 类 算法 、 三 层 贝 叶 斯 概率 算法 、 朴 素 贝 叶 斯 算法 和 随机 森林 算法 。 这 些 算法 中 大 
部 分 都 是 距离 的 算法 ， 可 以 通过 和 矩阵 分 解 后 ， 充 分 利用 MapReduce 的 并 行 计算 框架 ， 
高 效 地 完成 计算 任务 。 

但 是 ，Mahout 的 很 多 数据 挖掘 算法 ， 很 难 实现 MapReduce 并 行 化 。Mahout 的 现 有 
模型 都 是 通用 模型 ， 可 直接 应 用 到 的 项 目 中 ， 计 算 结 果 只 会 比 随机 结果 好 一 点 点 。Ma- 
hout 二 次 开发 ， 要 求 有 深厚 的 Java 和 Hadoop 的 技术 基础 ， 最 好 兼 有 “线性 代数 ”、“ 概 
率 统计 ”“ 算 法 导论 ”等 基础 知识 。 因 此 ， 想 玩 转 Mahout 真 的 不 是 一 件 容易 的 事情 。 

R 语言 同样 提供 了 Mahout 支持 的 大 多 数 算法 〈 除 专 有 算法 外 ) ， 并 且 还 支持 大 量 的 
Mahout 不 支持 的 算法 ， 其 算法 的 增长 速度 比 Mahout 快 得 多 ， 并 且 开发 简单 ， 参 数 配置 
灵活 ， 对 小 型 数据 集运 算 速 度 非 常 快 。 

然而 ，Mahout 同样 可 以 进行 数据 挖掘 和 机 器 学 习 ， 但 是 和 有 语言 的 擅长 领域 并 不 
重合 。 因 此 ， 在 适合 的 领域 选择 合适 的 技术 ， 才 能 真正 “保质 保 量 ”地 开发 软件 。 

3. SAS 

SAS (Statistical Analysis System ) 是 一 个 模块 化 、 集 成 化 的 大 型 分 析 软 件 系统 。 它 
由 数 十 个 专用 模块 构成 ， 功 能 包括 数据 访问 、 数 据 储 存 及 管理 、 应 用 开发 、 图 形 处 理 、 
数据 分 析 、 报 告 编制 、 运 筹 学 方法 、 计 量 经 济 学 与 预测 等 。 

SAS 系统 基本 上 可 以 分 为 四 大 部 分 : SAS 数据 库 部 分 ，SAS 分 析 核 心 ，SAS 开发 呈 
现 工具 ， 以 及 SAS 对 分 布 处 理 模 式 的 支持 及 其 数据 仓库 设计 。 

4. R 与 SAS 之 争 

R 语言 开源 、 人 免费 ,扩展 包 丰富 ， 但 是 语言 本 和 号 特性 比较 匮乏 ， 可 读 性 不 高 ， 人 处 理 
数据 量 不 大 的 研究 时 比较 方便 ， 而 处 理 数 据 量 很 大 时 就 得 借助 数据 库 。R 语言 相对 SAS 
的 一 个 最 大 优势 就 是 扩展 包 相 当 多 ， 而 且 相 当 全面 ， 对 于 大 部 分 研究 问题 而 言 都 不 需要 
自己 去 实现 底层 的 计算 方法 ， 但 是 扩展 包 比 较 零 散 ， 很 多 时 候 需要 自己 去 淘金 。 

SAS 很 庞大 ， 但 其 主要 优势 在 于 入 门 简单 ， 语 言 可 读 性 强 ， 语 言 思路 比较 符合 统计 
分 析 的 思路 : 大 体 上 是 数据 步 整理 筛选 数据 ， 过 程 步 做 数据 分 析 等 。 编 写 SAS 代码 的 
过 程 就 是 告诉 SAS 系统 做 什么 ， 而 不 是 怎么 做 ,减少 了 很 多 编程 细节 上 的 麻烦 。 
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10.4.2 大 数据 应 用 


10.4.2.1 运 维 中 的 大 数据 

在 数据 中 心 ， 大 数据 的 整个 生命 周期 包括 采集 、 存 储 、 分 析 、 展 示 等 环节 ， 数 据 源 
主要 是 基础 设施 产生 的 机 器 数据 。 通 常会 在 设备 上 安装 采集 代理 ， 收 集 各 类 性 能 数据 和 
日 志 ， 或 者 通过 网 络 协议 采集 网 络 设备 的 数据 ， 这 些 数据 存储 到 大 数据 平台 后 ， 可 以 为 
日 志 分 析 、 交 易 监控 、 性 能 管理 等 诸多 领域 应 用 。 数 据 中 心 大 数据 平台 架构 如 图 10-16 
所 示 。 
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妈 10-16 数据 中 心 大 数据 平台 架构 


数据 中 心 常用 的 大 数据 技术 包括 以 下 几 个 方面 : 

首先 是 大 数据 采集 技术 ， 采 集 代理 必须 能 够 高 效 地 从 庞大 的 基础 设施 中 采集 各 种 信 
息 ,， 包括 日 志 、 人 性 能 数据 等 ， 采 集 代 理应 采用 分 布 式 架构 ， 在 采集 接收 端 出 现 容 量 或 性 
能 出 现 瓶 贷 时 可 以 平滑 地 横向 扩展 ， 并 能 够 高 效 、 低 延 时 地 完成 数据 的 初步 处 理 和 
入 库 。 

其 次 ， 面 对 海量 的 结构 化 数据 和 非 结 构 化 数据 ， 传 统 的 关系 型 数据 库 无 法 满足 数据 
存储 的 需求 ， 必 须 使 用 分 布 式 的 文件 系统 ， 提 供 高 容量 、 高 负载 、 高 可 用 性 的 存储 能 
力 ，HDFS 就 是 一 个 不 错 的 选择 ， 也 可 以 使 用 一 些 应 用 级 别 的 存储 技术 ， 比 如 分 布 式 的 
全 文 索引 ， 全 文 索引 在 面 对 基 于 时 间 的 性 能 数据 和 日 志 这 类 非 结构 化 数据 时 ， 提 供 了 更 
好 的 存储 和 检索 能 

大 量 的 数据 采集 完成 后 ， 要 通过 一 定 的 数据 分 析 工 具 ， 才 能 产生 价值 ， 由 于 较 高 的 
时 效 性 要 求 ， 可 以 使 用 流 式 计算 技术 快速 处 理 海量 的 性 能 数据 和 日 志 ， 生 成 告警 事件 并 
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通知 到 相应 的 人 员 ; 也 可 以 使 用 复杂 事件 处 理 (CEP) 技术 ,在 各 个 事件 之 间 进 行 关联 
分 析 ， 减 少 重复 报 警 、 过 滤 表 象 事件 和 定位 根源 事件 ， 并 确定 故障 的 业务 影响 ， 为 后 续 
的 故障 处 置 提供 决策 依据 。 我 们 也 可 以 使 用 一 些 机 器 学 习 算法 ， 比 如 ， 使 用 回归 分 析 来 
进行 容量 预测 ， 使 用 聚 类 分 析 寻 找 故 障 发 生 的 模式 进行 故障 预测 。 

最 后 ， 我 们 要 打通 数据 和 人 之 间 的 壁垒 ， 通 过 可 视 化 技术 在 数据 和 人 之 间 建 立 起 桥 
梁 ， 通 过 各 类 分 析 网 表 ， 尤 其 是 非 传统 类 型 的 图 表 ， 分 析 数 据 之 间 的 关系 ， 为 性 能 管 
理 、 容 量 管理 等 日 常 工作 提供 决策 支持 。 

10.4.2.2 日 志 采 集 与 分 析 

运 维 人 员 分 析 系 统 问 题 的 一 个 主要 途径 就 是 分 析 日 志 ， 原 来 一 套 系统 最 多 也 就 十 几 
台 设备 ， 一 台 一 台地 去 登录 ， 逐 个 日 志 的 手工 查看 还 可 以 忍受 ,但 是 在 虚拟 化 、 云 计算 
的 环境 下 ， 运 维 人 员 要 面 对 成 千 上 万 台 设 备 ， 原 来 手工 的 分 析 方 法 显然 已 经 无 法 满足 运 
维 工作 的 需要 ， 这 就 需要 对 基础 设施 的 各 类 日 志 进 行 统一 采集 和 集中 存储 ， 提 供 统一 的 
查询 控制 台 进 行 日 志 的 检索 ， 并 结合 文本 分 析 工 具 进行 各 种 统计 分 析 ， 以 快速 定位 问题 
原因 。 日 志和 集中 采集 及 分 析 平 台 逻 辑 架 构 如 图 10-17 所 示 。 
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日 志 数 据 采 集 适 配 层 





本 地 日 志 采 集 接口 网 络 日 志 采 集 接口 


操作 系统 日 志 销售。 存储 设备 日 志 。 应 用 日 志 ”交易 日 志 le Be 


图 10-17 日 志 集 中 采集 及 分 析 平 台 逻 辑 架 构 


同时 ， 采 集 到 的 日 志 可 以 使 用 规则 引擎 和 流 计算 技术 对 日 志 进 行 监控 ， 监 测 异 常 的 
关键 字 ， 对 多 个 日 志 进 行 关联 分 析 ， 通 过 模式 分 析 发 现 潜 在 的 系统 异常 ， 实 现 故 障 预 
测 。 比 如 ， 当 某 个 极 少 出 现 的 词 在 短 时 间 内 频繁 出 现时 ， 可 能 意味 着 系统 出 现 了 不 同 寻 
常 的 行为 ， 需 要 运 维 人 员 及 时 关注 ， 这 种 行为 可 能 是 正常 的 ， 也 可 能 是 异常 的 ， 通 过 不 
断 对 分 析 模 型 进行 调整 ， 就 能 不 断 提 高 故障 预测 的 准确 性 。 

此 外 ， 日 志 分 析 还 可 以 在 入 侵 监 测 、 司 法 协查 、 安 全 审计 等 领域 发 挥 作用 。 

10.4.2.3 应 用 质量 分 析 

传统 的 监控 大 多 数 集中 在 基础 设施 领域 ， 比 如 操作 系统 、 中 间 件 、 数 据 库 等 ， 对 应 
用 自身 的 监控 大 多 仅 限 于 进程 和 日 志 ， 缺 少 一 种 直接 掌控 系统 业务 运行 情况 的 监控 手 
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段 。 借 助 大 数据 分 析 ， 我 们 可 以 通过 对 交易 日 志 的 分 析 ， 提 供 面 向 交付 的 端 到 端的 交易 
监控 能 力 ， 可 以 监控 包括 流量 、 性 能 和 可 用 性 三 方面 的 指标 ， 比 如 交易 量 、 交 易 成 功 
率 、 交 易 响 应 时 间 等 。 

通常 一 笔 交 易 要 经 过 多 个 系统 的 处 理 才能 完成 ， 以 往 交易 处 理 出 现 问 题 ， 整 个 交易 
线 上 的 所 有 系统 都 跟着 一 起 排查 ， 费 时 费力 。 通 过 对 多 个 交易 日 志 的 关联 分 析 ， 就 可 以 
对 一 笔 交 易 在 各 个 系统 的 处 理 情况 进行 深入 训 析 ， 快 速 定位 问题 在 哪个 系统 上 。 

通过 对 一 笔 交易 的 分 析 可 以 定位 问题 ， 对 海量 的 交易 进行 分 析 就 可 以 勾勒 出 整个 企 
业 交 易 线 的 拓扑 结构 ， 从 而 分 析 应 用 架构 是 否 合理 、 交 易 线 是 否 过 长 等 问题 ， 进 而 对 交 
易 线 进行 全 局 的 管理 和 优化 。 

对 交易 监控 进行 延伸 ， 就 可 以 进行 交易 质量 分 析 。 通 过 对 交易 监控 数据 的 分 析 ， 找 
出 交易 失败 的 分 布 特征 ， 发 现 客 户 行 为 、 员 工 操 作 、 业 务 参数 配置 、 营 业 时 间 限 制 等 问 
题 ,， 引导 客户 、 员 工 、 项 目 组 合理 使 用 IT 系统 资源 ， 降 低 无 效 交 易 比 例 ， 降 低 数据 中 
心 运营 成 本 ， 提 高 客户 体验 。 

通过 交易 质量 分 析 ， 可 以 识别 出 长 期 不 使 用 的 交易 ， 及 时 将 这 些 无 用 交易 进行 注 
销 ， 找 到 响应 时 间 较 长 的 交易 ， 进 行 针 对 性 的 优化 ， 识 别 成 功率 较 低 的 交易 ， 看 看 到 底 
是 客户 的 原因 造成 的 交易 失败 还 是 由 于 IT 系统 造成 的 失败 。 如 果 是 客户 原因 造成 的 ， 
比如 客户 对 系统 不 了 解 ， 对 系统 错误 地 使 用 ， 那 就 要 让 客服 人 员 及 时 与 客户 联系 ， 引 导 
客户 正确 使 用 系统 ; 如 果 是 IT 系统 造成 的 失败 ， 比 如 在 日 常 批 处 理 时 段 发 生 一 些 只 能 
在 联机 时 段 处 理 的 交易 ， 那 就 要 对 系统 进行 优化 ， 不 要 发 送 这 些 无 效 交 易 ， 避 免 对 IT 
系统 造成 无 谓 的 消耗 。 

交易 质量 管理 工作 需要 企业 多 个 部 门 协作 ， 在 流程 上 形成 闭环 。 首 先 由 数据 中 心 通 
过 应 用 监控 平台 发 布 生成 交易 质量 报告 ， 由 架构 管理 部 门 对 报告 进行 分 析 ， 提 出 优化 建 
议 并 对 开发 部 门下 达 整 改 任 务 ， 并 对 这 些 任务 进行 跟踪 ， 开 发 部 门 完成 整改 后 ， 需 要 由 
应 用 监控 平台 再 次 发 布 交 易 质量 报告 并 验证 优化 的 效果 ， 由 此 循环 往复 ， 形 成 一 个 闭 
环 ， 不 断 地 提高 系统 的 服务 质量 ， 从 而 提高 客户 体验 。 

10.4.2.4 性 能 管理 

在 私有 云 中 环境 下 ， 资 源 众 多 ， 环 境 复杂 ， 包 括 计算 资源 、 存 储 资源 、 网 络 资源 、 
物理 层 资源 和 虚拟 层 资源 。 因 此 ， 私 有 云 环境 下 的 性 能 管理 要 比 传统 的 性 能 管理 复杂 得 
多 。 大 数据 技术 可 以 应 用 于 性 能 管理 领域 ， 以 确保 云 环境 资源 的 服务 质量 。 数 据 中 心 通 
常会 在 各 个 专业 领域 实施 一 些 性 能 管理 工具 ， 这 些 工具 由 不 同 的 厂商 提供 ， 架 构 各 有 异 ， 
提供 的 能 力 不 一 致 ， 无 法 互联 和 互通， 并 且 会 形成 对 厂商 的 依赖 ， 替 代 成 本 较 高 ， 对 于 科 
技 力 量 较 强 的 数据 中 心 ， 可 以 只 使 用 这 些 产品 基础 的 采集 功能 ， 降 低 对 产品 的 依赖 ， 通 
过 自主 研发 的 采集 代理 ， 将 各 种 性 能 工具 采集 到 大 数据 平台 ， 进 行 集中 的 存储 与 分 析 ， 
这 些 性 能 数据 还 可 以 为 容量 管理 提供 数据 支持 。 

性 能 数据 的 采集 应 以 实时 采集 为 佳 ， 一 种 为 有 代理 方式 ， 男 一 种 为 无 代理 方式 。 有 
代理 方式 一 般 在 虚拟 机 或 物理 机 中 安装 一 个 采集 代理 ， 通 过 接口 或 者 文件 采集 的 方式 ， 
在 一 定 周 期 内 轮流 采集 被 管 机 的 性 能 数据 ; 无 代理 方式 一 般 采 用 Syslog、Snmp 协议 或 
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者 适 配 设 备 厂商 的 APL， 以 集中 的 采集 点 采集 被 管 机 的 性 能 数据 。 对 于 那些 无 法 实时 采 
集 的 性 能 数据 ， 可 以 采用 批量 采集 方法 ， 但 这 种 方法 由 于 时 效 性 低 (通常 是 T+1)， 因 
此 丧失 了 对 云 环境 实时 性 能 分 析 的 能 力 ， 不 利于 问题 分 析 及 定位 。 

性 能 分 析 通 常 使 用 图 表 方 式 进行 ， 可 交互 式 的 图 表 以 及 可 灵活 配置 的 仪表 盘 可 以 大 
大 提高 性 能 分 析 的 效率 。 另 外 ， 可 以 通过 报表 工具 定期 生成 性 能 分 析 报 告 ， 进 行 周期 性 
的 分 析 。 

10.4.2.5 容量 评估 及 预测 

容量 评估 主要 是 基于 历史 性 能 及 容量 数据 ， 评 估 基 础 设施 是 否 出 现 了 容量 瓶颈 或 
容量 热点 ， 以 便 及 时 对 应 用 进行 调整 或 者 采购 扩容 。 在 容量 评估 过 程 中 ， 一 般 不 使 
用 平均 值 或 最 高 值 指标 ， 因 为 平均 值 会 被 部 分 业务 低谷 时 段 的 样本 值 拉 低 ， 而 最 高 

会 被 业务 高 峰 时 段 的 少数 高 点 拉 高 ， 都 不 能 准确 描述 基础 设施 的 资源 使 用 情况 。 
可 是 使 用 百 分 位 数 或 者 等 价 的 指标 来 描述 容量 使 用 情况 。 百 分 位 数 是 指 如 果 将 一 组 
数据 从 小 到 大 排序 ， 并 计算 相应 的 累计 百 分 位 ， 则 某 一 百 分 位 所 对 应 数据 的 值 就 称 
为 这 一 百 分 位 的 百 分 位 数 。 可 表示 为 : 一 组 n 个 观测 值 按 数值 大 小 排列 ， 如 处 于 p% 
位 置 的 值 称 为 第 p 百 分 位 数 。 一 般 可 以 取 95% 百 分 位 数 或 者 99% 百 分 位 数 作为 容量 
评估 的 指标 。 

容量 预测 是 结合 各 类 性 能 管理 的 历史 数据 ， 建 立业 务 量 与 基础 设施 资源 使 用 情况 的 
分 析 模 型 ,通过 回归 分 析 、 神 经 网 络 、 卡 方 、 决 策 树 等 模型 进行 基础 设施 资源 使 用 率 预 
测 与 业务 量 预测 ， 评 佑 系统 容 量 ， 分 析 资 源 可 能 出 现 的 瓶 诺 ， 为 基础 设施 扩容 与 采购 提 
供 决 策 支 持 。 

一 般 情况 下 的 容量 预测 可 以 分 为 以 下 几 个 步骤 : 

1) 找到 与 业务 量 相 关 性 较 高 的 指标 ， 再 对 数据 进行 平滑 处 理 ， 剔 除 离散 度 较 高 的 
异常 数据 。 

2) 建立 容量 分 析 模 型 ， 设 置 置 信 区 间 ， 按 照 3 份 数据 预测 1 份 数据 的 规律 ， 计 算 
预测 值 。 

3) 对 预测 结果 进行 解读 ， 通 常 容 量 预测 不 仅 要 看 预测 值 ， 还 要 考虑 到 业务 推广 、 
系统 升级 等 模型 之 外 的 因素 ， 单 纯 依 赖 预测 结果 ， 可 能 会 产生 较 大 的 偏差 。 



































10.4.3 ”数据 可 视 化 


我 们 常 说 ， 大 数据 是 一 座 金 矿 ， 数 据 是 21 世纪 的 一 种 新 型 自然 资源 ， 这 座 金 矿 必 
须 通 过 挖掘 和 消费 才能 产生 价值 ， 和 否则， 数据 放 在 库 里 ， 随 着 时 间 的 流逝 ， 价 值 就 会 急 
速 降 低 。 

可 视 化 技术 是 使 用 大 数据 的 有 效 手 段 ， 借 助 可 视 化 技术 ， 可 以 在 人 与 数据 之 间 搭 建 
沟通 的 桥梁 ， 从 现 阶 段 来 讲 ， 依 靠 人 的 视觉 进行 观察 和 分 析 ， 是 任何 机 带 学 习 算 法 无 法 
替代 的 。 

可 视 化 不 但 要 提供 丰富 的 展现 形式 ， 也 要 提供 参数 化 、 模 块 化 的 定制 能 力 ， 能 够 让 
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用 户 快速 地 定制 所 需要 的 仪表 盘 。 最 终 用 户 不 需要 编码 ， 甚 至 不 需要 精通 大 数据 的 技术 
细节 ， 就 可 以 享受 大 数据 带 来 的 便利 ， 在 降低 了 运 维 人 员 使 用 大 数据 的 门槛 后 ， 每 一 个 
人 都 可 以 是 大 数据 的 最 终 用 户 ， 所 有 的 运 维 人 员 都 可 以 成 为 一 名 数据 分 析 师 。 


10.5 监控 智能 处 置 体 系 


IT 系统 的 可 用 性 、 可 维护 性 以 及 灾难 可 恢复 性 一 般 被 视 为 最 重要 的 IT 建设 指标 。 
监控 系统 对 于 促进 这 三 个 指标 水 平 的 提高 都 可 以 发 挥 重要 的 作用 。 在 传统 监控 体系 中 监 
测 系统 的 可 用 性 一 直 作为 监控 的 主攻 方向 ， 其 也 是 衡量 监控 系统 是 否 合格 的 主要 指标 。 
随 着 云 计算 、 大 数据 、 可 视 化 等 搁 术 的 不 断 发 展 ， 自 动 化 手段 得 到 了 前 所 未 有 的 丰富 ， 
监控 系统 与 自动 化 系统 的 界限 已 变 得 非常 模糊 ， 由 于 监控 系统 其 本 身 在 问题 发 现 上 所 具 
备 的 先天 优势 ， 监 控 系 统 对 于 可 用 性 处 置 、 系 统 可 维护 性 促进 、 灾 难 可 恢复 性 评测 的 页 
献 也 在 显著 地 增强 。 由 于 所 涉及 的 技术 与 管理 环节 众多 ， 所 以 本 节 仅 讨论 监控 智能 处 置 
的 一 些 设想 与 运用 。 

(1) 监控 智能 处 置 体系 ” 先 从 监控 体系 说 起 ， 一般 来 说 ,一 个 基本 的 监控 体系 模 
型 是 由 相关 专业 岗位 人 员 、 被 监控 对 象 、 衡 量 对 象 各 组 件 工作 状态 的 监控 指标 、 各 领域 
监控 所 需 数据 采集 工具 、 数 据 处 理 与 分 析 手 段 、 相 关 维 护 与 处 理工 作 流 程 等 要 素 构 成 
的 。 在 此 基础 上 针对 智能 处 置 ， 监 控 智能 处 置 体系 还 扩展 了 时 间 维 度 (主要 包括 识别 
与 处 置 的 时 间 ) 、 处 置 对 象 、 案 例 、 场 景 、 处 置 方式 、 交 互 方式 等 要 素 。 这 里 定义 案例 
为 基本 的 处 置 单位 ， 主 要 包含 处 置 的 方法 步 又 ， 需 要 强调 的 是 案例 中 并 不 包含 处 置 对 
象 、 处 置 时 间 等 信息 ， 以 保证 案例 的 通用 性 。 案 例 的 形式 并 无 一 定之 规 ， 可 以 是 一 段 文 
字 ， 也 可 以 是 自动 处 置 脚本 甚至 表现 为 一 个 手工 触发 的 按钮 等 。 除 了 案例 ， 场 景 也 是 模 
型 中 一 个 重要 的 要 素 ， 场 景 是 案例 、 报 警 对 象 、 报 警 指标 、 报 和 警 级 别 、 处 理 对 象 、 报 警 
时 间 窗 口 、 处 置 时 间 窗 口 的 集合 ， 场 景 被 定义 为 报警 处 置 的 最 小 单位 ， 可 简单 地 理解 为 
案例 的 实例 ， 场 景 中 主要 包含 识别 信息 与 处 置信 息 两 部 分 内 容 。 

(2) 监控 智能 处 置 ”监控 智能 处 置 就 是 将 监控 智能 处 置 体系 中 的 要 素 串联 起 来 ， 
以 场景 识别 为 流程 人 口 ， 借 助 规则 引擎 、 工 作 流 引擎 、 大 数据 、 可 视 化 等 技术 定位 故障 
与 影响 ， 进 而 对 事件 进行 自动 、 半 自动 或 者 人 工 处 理 ， 并 对 整个 过 程 进行 可 视 化 展示 的 
活动 。 

监控 智能 处 置 的 基础 是 监控 ， 监 控 需要 涵盖 IT 的 各 个 领域 ， 监 控 的 数据 量 越 大 、 
履 盖 面 越 广场 景 识别 的 能 力 就 越 强 ， 分 析 定 位 的 准确 性 就 越 高 ， 处 置 的 效果 才 会 更 好 。 
监控 对 象 应 包括 应 用 系统 整体 构成 的 所 有 组 成 环节 ， 而 不 仅仅 是 应 用 程序 ， 还 应 包括 其 
运行 所 依赖 的 存储 环境 、 网 络 环境 、 服 务 器 资源 、 各 类 系统 软件 、 外 部 链 路 资源 、 维 护 
操作 任务 、 内 部 配置 数据 、 系 统 间 会 话 、 业 务 数据 交换 任务 等 。 

一 套 完 善 的 监控 智能 处 置 系统 ， 不 仅 包括 对 监控 对 象 的 监测 、 处 理 ， 同 时 也 包括 系 
统 自身 的 自我 完善 机 制 。 其 能 够 将 预警 前 移 到 故障 发 生 之 前 ， 预 测 故 障 和 容量 危机 ， 为 
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运 维 管理 提供 风险 提示 ; 可 以 发 现 系统 中 各 个 组 件 间 的 依赖 关系 ， 进 而 推导 故障 影响 ; 
能 够 总 结 场景 与 故障 根源 的 对 应 关系 ， 形 成 故 隐 树 ， 分 析 故 障 原 因 ， 并 为 业务 部 门 提供 
决策 支持 ; 可 以 对 软件 版 本 、 硬 件 型 号 进行 质量 分 析 ， 从 而 影响 采购 决策 ， 促 进 运 维 质 
量 ， 降 低 运 维 成 本 ; 能 够 统计 分 析 系 统 中 的 监控 指标 与 阐 值 ， 形 成 基准 指标 集 ， 推 进 监 
控 管理 质量 。 

如 何 构建 并 运用 一 套 有 效 的 监控 智能 处 置 体系 ， 为 银行 IT 系统 安全 运行 提供 基础 
技术 保障 ， 是 我 们 一 直 在 探索 的 课题 之 一 。 总 结 之 前 研究 与 实现 的 一 些 实践 经 验 ， 接 下 
来 将 按照 规划 、 体 系 、 实 现 和 应 用 四 个 不 同 的 方面 进行 简要 介绍 。 














10.5.1 规划 设计 


在 此 之 前 各 个 系统 已 具备 了 很 强 的 监控 能 力 ， 具 备 各 种 检测 手段 ， 可 以 检测 开放 
系统 、 网 络 、 大 型 机 、 环 境 、 硬 件 、 交 易 等 领域 , 但 是 如 何 将 这 些 监控 所 获得 的 信 
息 纳 入 到 监控 智能 处 置 体系 中 来 ， 统 一 运用 ， 并 使 智能 处 置 系统 可 以 不 断 地 学 习 、 
完善 ， 是 在 本 节 需 要 探讨 的 内 容 。 接 下 来 通过 认 知 、 识 别 、 处 理 和 进化 四 个 维度 进 
行 阐述 。 

1. 认 知 

认 知 是 指 对 监控 智能 处 置 体系 所 涉及 的 要 素 梳理 、 提 炼 、 保 存 的 过 程 ， 监 控 智 能 处 
置 体系 中 最 主要 的 要 素 是 监控 对 象 、 监 控 指 标 、 处 置 对 象 、 时 间 、 案 例 与 方案 。 

1) 监控 对 象 的 认 知 : 监控 智能 处 置 体系 中 的 监控 对 象 是 指 能 够 对 外 提供 服务 的 个 
体 以 及 个 体 间 的 关系 ， 对 于 监控 对 象 来 说 ， 理 论 上 其 颗粒 度 应 该 越 细 越 好 ， 其 颗粒 度 的 
粗细 直接 影响 场景 识别 的 敏感 度 。 但 另 一 方面 颗粒 度 的 每 次 扩展 都 会 带 来 监控 对 象 维 护 
成 本 的 显著 增加 ， 尤 其 是 对 象 关 系 ， 其 增加 量 非 常 巨大 。 只 存储 必要 的 数据 属性 ， 易 除 
无 效 数 据 ， 就 变 得 非常 重要 。 一 般 来 说 ， 对 象 属性 分 为 两 类 : 自然 属性 和 管理 属性 。 自 
然 属性 是 指 对 象 自身 所 具有 的 公理 类 型 属性 ， 此 类 属性 不 会 因为 管理 体系 的 更 幸而 产生 
变化 ， 往 往 是 可 以 通过 技术 手段 获取 的 ; 管理 属性 主要 是 指 由 于 职能 分 工 为 对 象 带 来 的 
附加 属性 ， 这 类 属性 的 变化 频率 更 高 、 获 取 的 难度 更 大 ， 往 往 需要 人 工 维护 ， 一 般 来 
说 ， 属 性 的 维护 成 本 较 高 ， 使 用 场景 更 多 与 安全 、 客 户 交 互 体验 有 关 ， 如 权限 、 视 图 分 
类 、 分 组 查询 、 报 警 通知 等 。 

2) 监控 指标 的 认 知 : 监控 指标 是 描述 监控 对 象 “ 态 ” 的 要 素 ， 一 般 分 为 状态 指 
标 、 性 能 指标 和 容量 指标 。 状 态 指标 是 指 可 以 精确 定位 监控 对 象 当 前 “ 态 ” 的 指标 ， 
比如 进程 “ 启 ”与 “ 停 ”( 注 : 0% 和 100% 一 般 也 认为 是 状态 指标 ) ; 性 能 指标 是 衡量 
提供 对 外 服务 质量 的 指标 ， 其 指标 与 各 服务 的 承诺 有 关 ， 存 在 更 大 的 容忍 区 间 。 人 性 能 指 
标 是 影响 分 析 的 主要 考量 指标 。 容 量 指标 是 指 可 以 精确 度量 但 无 法 独立 定位 监控 对 象 当 
前 “ 态 ” 的 指标 ， 相 对 于 其 他 两 类 指标 ， 容 量 指标 的 判别 标准 与 对 象 个 体 差 异 的 关联 
更 为 紧密 ， 容 量 指标 是 故障 预警 的 主要 考量 指标 。 与 传统 监控 指标 不 同 的 是 ， 监 控 智 能 
处 置 体系 中 的 监控 指标 也 具有 和 监控 对 象 类 似 的 关系 要 素 ， 指 标 关 系 包括 必然 影响 关系 
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和 可 能 影响 关系 ， 一 般 来 说 状态 指标 和 性 能 指标 多 产生 必然 影响 关系 ， 容 量 指标 产生 可 
能 影响 关系 。 

3) 处 置 对 象 的 认 知 : 顾名思义 ， 处 置 对 象 就 是 需要 对 “ 谁 ” 进 行 智能 处 置 。 处 置 
对 象 的 管理 与 监控 对 象 类 似 ， 甚 至 可 以 重复 利用 。 但 需要 注意 的 是 ， 在 同一 事件 当中 报 
警 对 象 和 处 置 对 象 有 时 并 不 相同 。 随 着 处 置 逻辑 复杂 度 的 提高 ， 处 置 对 象 与 监控 对 象 的 
关系 将 从 自 包含 关系 向 多 对 多 关系 转换 。 

4) 时 间 的 认 知 : 时 间 是 监控 智能 处 置 体系 中 重要 的 维度 指标 ， 时 间 主 要 包括 两 部 
分 ， 即 报警 时 间 和 处 置 时 间 。 某 些 情况 下 监控 对 象 尽 管 自 身 的 状态 没有 改变 ， 但 由 于 时 
间 的 改变 ， 监 控 目 标 和 处 置 方式 都 会 发 生 改 变 。 比 如 性 能 指标 为 了 适应 这 种 变化 有 时 会 
采用 基线 阔 值 告警 的 方式 。 时 间 还 有 分 段 的 属性 ， 单 位 时 间 内 的 操作 往往 被 要 求 不 能 
复 。 另 外 ， 时 间 还 有 顺序 的 属性 ， 操 作 是 有 顺序 的 ， 判 定 什么 时 候 操 作 也 是 有 顺序 的 ， 
但 是 由 于 监控 方式 的 不 同 原本 先 发 生 的 事件 可 能 由 于 是 轮 询 采样 比 后 发 生 的 事件 到 达 监 
控 系 统 更 晚 ， 这 些 都 是 需要 在 监控 智能 处 置 中 考虑 的 。 

5) 案例 与 方案 的 认 知 : 如 前 所 述 案例 就 是 处 置 执行 的 步骤 ,方案 是 案例 的 实例 ， 
所 以 在 认 知 时 这 两 个 要 素 往往 需要 一 起 考虑 。 它 们 的 认 知 需要 通过 相关 专家 梳理 获得 。 
梳理 获得 有 很 多 种 方式 ， 这 里 介绍 两 种 ， 即 指标 梳理 法 和 事件 回顾 法 。 这 两 种 方式 在 梳 
理 时 都 需要 考虑 触发 条 件 和 处 理 方 式 两 个 部 分 的 内 容 ， 指 标 梳 理 法 是 以 当前 监控 系统 中 
存在 的 监控 指标 作为 基础 ， 梳 理 每 一 个 指标 在 触发 告警 后 的 处 置 方法 ， 这 种 梳理 方法 适 
合 处 理 方法 明确 的 、 触 发 条 件 清晰 的 监控 指标 。 状 态 指标 的 梳理 往往 采用 这 种 方式 ， 其 
人 处理 方法 一 般 都 是 以 对 “ 态 ” 的 恢复 为 目的 ， 同 时 以 “ 态 ” 的 变化 作为 触发 条 件 。 人 性 
能 指标 、 容 量 指标 产生 报警 的 成 因 往 往 比 较 复 杂 ， 相 同 报警 在 不 同时 间 、 环 境 之 下 其 根 
本 原因 可 能 也 会 不 同 ， 我 们 可 以 通过 故障 树 的 方式 来 对 报警 成 因 以 及 对 应 的 处 理 方法 进 
行 管理 。 故 障 树 的 形成 方式 有 很 多 种 ， 这 里 介绍 的 是 通过 对 事件 进行 回顾 的 方式 。 所 谓 
事件 回顾 就 是 对 历史 上 发 生 过 的 事件 进行 汇总 分 析 ， 主 要 分 析 报 警 对 象 、 报 警 指标 、 处 
理 方法 和 根本 原因 。 以 报警 指标 作为 故障 树 的 根 结 点 ， 先 梳理 报警 原因 ， 再 梳理 确认 方 
法 ,之 后 是 不 同 原因 的 处 理 步骤 ( 注 : 报警 对 象 如 果 会 决定 报警 原因 则 包含 在 报警 原 
因 中 一 同 梳理 ) 。 

2. 识别 

识别 是 对 触发 条 件 的 确认 ， 包 括 事 件 的 获知 与 确认 两 个 主要 阶段 。 

事件 的 获知 一 般 有 多 种 渠道 ， 比 如 电话 报 障 、 定 期 巡 检 、 监 控 报 警 等 。 由 于 电话 报 
障 在 时 效 上 不 可 控 ， 所 以 只 能 作为 事件 获知 的 辅助 手段 。 定 期 巡 检 是 监控 的 有 效 补充 ， 
其 特点 是 监控 覆盖 面 广 、 时 效 性 低 ， 可 以 作为 事件 获知 的 主动 手段 。 监 控 报 警 是 由 监控 
系统 自身 产生 的 ， 具 有 敏感 度 高 、 内 容 标准 化 程度 高 的 特点 ， 更 有 利于 根源 定位 与 后 续 
处 置 ， 所 以 作为 监控 智能 处 置 体系 中 首 推 的 发 现 手段 。 如 何 逐 步 降 低 报 障 在 事件 获知 中 
的 比例 是 本 阶段 的 重要 工作 。 

事件 确认 主要 有 三 部 分 工作 : 确认 事件 是 否 真 实 发 生 ， 确 认 事件 是 否 已 经 恢复 ， 以 
及 确认 事件 所 匹配 到 的 方案 。 
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1) 由 于 事件 获知 的 渠道 不 同 ， 每 个 渠道 由 于 主体 的 不 同 ， 其 判断 方法 、 认 知 范围 
都 不 尽 相 同 ， 所 以 当 事 件 获知 后 首先 要 做 的 是 确认 事件 是 否 真实 发 生 。 确 认 的 方法 可 以 
分 为 主动 方式 和 被 动 方 式 两 种 ， 主 动 方 式 一 般 采 用 巡 检 、 健 康 检查 、 日 志 查 询 、 性 能 容 
量 报 表 分 析 等 方法 ; 被 动 方 式 是 在 监控 系统 中 查询 报警 事件 ， 以 是 否 发 生 过 报警 事件 作 
为 事件 是 否 真 实 发 生 的 判别 标准 。 

2) 确认 事件 是 否 已 经 恢复 一 般 涉及 两 个 阶段 ， 即 事件 发 生 阶段 和 事件 处 置 完成 阶 
段 。 由 于 时 序 问题 ， 性 能 、 容 量 事件 有 时 会 在 事件 发 生 阶段 自我 消除 ， 所 以 事件 处 置 前 
的 确认 操作 是 非常 必要 的 ; 男 一 方面 ， 处 置 完成 之 后 通过 对 事件 是 否 恢复 的 确认 来 衡量 
处 置 的 效果 也 是 监控 智能 处 置 流程 中 的 重要 步骤 。 

3) 当 确 认 事 件 确实 真 的 发 生 了 ， 同 时 尚未 得 到 任何 缓解 后 ,使 用 何 种 处 置 方案 就 
变 得 非常 重要 。 方 案 的 确认 主要 是 通过 对 监控 对 象 、 监 控 指 标 、 发 生 时 间 的 综合 判断 来 
实现 的 。 

3. 处 理 

处 理 是 分 析 与 处 置 的 广义 描述 ， 包 含 事件 方案 匹配 后 到 事件 恢复 前 的 所 有 操作 。 分 
析 主 要 包括 根源 分 析 与 业务 影响 分 析 两 部 分 ， 根源 分 析 可 以 通过 监控 对 象 、 监 控 指 标的 
关联 关系 以 及 故障 树 作 为 分 析 依 据 ， 业 务 影响 分 析 可 以 根据 交易 监控 的 性 能 数据 辅 以 监 
控 对 象 、 监 控 指 标的 关联 关系 获取 。 对 于 传统 处 置 理论 来 讨 ， 处 置 对 象 的 颗粒 度 越 细 越 
好 ,但 是 颗粒 度 的 细 化 必然 带 来 维护 成 本 的 巨大 压力 ， 同 时 由 于 数据 量 的 提高 必然 会 对 
需要 在 短 时 间 内 完成 事件 处 置 的 内 在 要 求 造成 挑战 。 随 着 云 技术 、 硬 件 技术 的 不 断 发 
展 ， 对 于 处 置 对 象 颗粒 度 的 要 求 也 有 所 转变 ， 监 控 智 能 处 置 体 系 对 于 处 置 颗粒 度 的 定义 
是 在 业务 允许 的 前 提 下 ， 处 置 的 颗粒 度 越 粗 越 好 。 其 实 很 好 理解 ， 当 计算 机 硬件 价格 
堪 比 黄金 的 年 代 ， 硬 件 故 障 经 常 通过 更 换 电 容 来 解决 ， 之 后 发 展 到 整个 主板 的 更 换 ， 
现在 可 以 进行 整 机 更 换 ， 未 来 可 能 会 发 展 到 整个 集装箱 式 机 房 的 替换 。 同 样 ， 虚 拟 
机 的 替换 也 在 技术 方面 为 应 急 提 供 了 更 加 便捷 的 手段 。 基 于 以 上 原因 监控 智能 处 置 
体系 要 求 监 控 对 象 的 颗粒 度 越 细 越 好 ， 而 处 置 对 象 的 颗粒 度 越 粗 越 好 。 除 了 监控 对 
象 ， 故 障 树 的 复杂 度 对 于 处 置 管理 也 有 很 大 的 影响 。 这 里 提出 一 个 故障 树 线性 化 的 
设想 ， 也 就 是 说 当 故 障 树 成 为 一 条 具有 多 个 节点 的 直线 时 ,故障 树 的 管理 是 最 简单 
的 。 那 么 如 何 将 故障 树 线 性 化 呢 ? 主 要 有 两 种 手段 ， 即 扩大 处 置 范 围 、 拆 分 细 化 监 
控 对 象 与 监控 指标 。 

处 置 的 方式 一 般 包 括 自 动 、 半 自动 和 人 工 方式 。 半 自动 方式 又 包括 人 输入 机 器 判 
斯 、 机 器 输出 人 触发 等 方式 。 另 外 ， 需 要 特别 提出 的 是 ， 事 件 不 一 定 会 命中 系统 已 有 的 
知识 ， 在 这 种 情况 下 启动 系统 之 外 的 应 急流 程 也 属于 监控 智能 处 置 体系 需要 考虑 的 
范畴 。 

4. 进化 

事件 处 置 完 毕 后 ， 系 统 应 进入 新 知识 的 转化 阶段 。 转 化 阶段 分 为 两 类 : 定期 转换 与 
实时 转换 。 定 期 转换 包括 新 对 象 的 梳理 、 新 指标 的 梳理 、 通 用 与 专项 方案 的 梳理 等 ; 实 
时 转换 包括 对 象 关 系 、 指 标 关 系 、 基 线 冰 值 、 高 阶 阔 值 等 数据 的 实时 更 新 。 
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10. 5.2 体系 构建 


传统 监控 体系 的 构成 ， 是 以 有 效 的 人 员 岗 位 分 工 与 合作 为 主体 ,辅助 以 适用 的 工 
具 、 有 效 的 知识 及 规范 ， 形 成 发 现 问题 、 改 进 问题 的 不 断 自我 完善 机 制 。 主 要 的 岗位 分 
工 及 工作 过 程 要 点 如 下 ; 

1) 一 线 值守 人 员 按 操作 规程 及 时 处 理 各 类 监测 数据 ， 并 详细 跟踪 、 记 录 处 理 
过 程 。 

2) 监控 管理 人 员 跟踪 并 分 析 各 类 报警 数据 的 有 效 性 ， 发 现 问题 并 设计 优化 策略 。 

3) 监控 技术 人 员 按 需 求 开发 各 类 监测 工具 及 手段 ， 维 护 监控 资产 信息 ， 并 确保 监 
控 工具 及 功能 能 够 被 有 效 地 交付 到 一 线 值守 人 员 、 二 线 技术 人 员 等 岗位 。 

4) 二 线 技术 人 员 及 时 响应 并 处 置 报警 ， 并 根据 实际 使 用 效果 ， 及 时 提出 监控 优化 
需求 ， 同 时 针对 各 类 运行 问题 与 隐患 ， 不 断 完善 相关 技术 规范 ， 避 免 同类 问题 的 反复 
发 生 。 

5) 运 维 质量 管理 人 员 ， 应 采集 各 类 监测 与 运行 数据 ， 形 成 常规 分 析 机 制 ， 及 时 通 
报 当前 关键 问题 、 工 作 优化 建议 ， 推 动 整个 体系 的 不 断 优化 ， 消 除 各 类 技术 与 工作 
隐患。 

在 此 基础 上 监控 智能 处 置 体系 中 增加 监控 智能 处 置 管理 岗 负责 评估 系统 中 缺失 的 千 
警 对 象 与 指标 ， 并 针对 方案 进行 定期 分 析 ， 查 找 冲突 方案 与 缺失 方案 ， 归 纳 二 线 技术 人 
员 处 置 报警 的 方式 方法 ， 将 应 急 处 置 的 短暂 时 间 分 散 到 日 常 梳理 工作 当中 ;注重 各 岗位 
的 信息 沟通 ， 强 调 将 各 岗位 所 关心 问题 的 标准 化 ， 并 利用 工具 采用 实时 推送 方式 ， 将 信 
息 呈 现 给 相关 岗位 ， 最 大 限度 减少 操作 无 序 带 来 的 时 间 损耗 ;规范 操作 流程 ， 尤 其 是 分 
析 与 处 置 流程 ， 避 免 事件 处 理 停滞 或 者 影响 范围 意外 扩大 。 














10. 5.3 ”实现 技术 


有 效 的 监控 智能 处 置 体系 ， 始 终 离 不 开 相 关 技 术 平 台 的 支撑 ， 而 要 搭建 有 效 的 技术 
平台 ， 需 要 解决 如 下 几 个 技术 层面 的 关键 问题 。 

监控 智能 处 置 整体 技术 架构 应 包括 数据 采集 层 、 专 业 领 域 监控 工具 处 理 层 、 统 一 事 
件 管理 层 、 数 据 分 析 层 、 事 件 处 置 层 、 展 现 与 运用 层 。 支 持 监控 智能 处 置 的 完成 处 理 流 
程 ， 满 足 控制 整体 生产 环境 监控 部 署 ， 满 足 从 监测 数据 中 发 现 问 题 、 处 置 问题 的 技术 需 
求 。 监 控 智 能 处 置 流 程 如 图 10-18 所 示 。 

1) 数据 采集 : 对 于 生产 环境 中 各 类 运行 数据 的 采集 ， 首 先 要 尽量 规避 对 生产 系统 
的 直接 影响 〈 一 般 规 定 监 控 系 统 占用 被 监控 系统 的 资源 使 用 率 小 于 3% ) ， 其 次 是 保证 
数据 的 实时 性 与 准确 性 ， 最 后 是 对 于 原始 监测 消息 的 准确 加 工 与 判断 ， 最 终 形成 有 效 的 
监控 采集 数据 。 
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a 本 

晶 . 不 rn 和 后 本 
a 业务 影响 辅助 分 析 
匹配 处 置 模板 发 起 应 急 


图 10-18 监控 智能 处 置 流 程 


2) 专业 领域 监控 工具 : 由 于 各 领域 的 特点 ， 采 集 方 式 和 计算 方式 差异 很 大 ， 定 义 
领域 监控 工具 负责 各 自 领 域 采集 数据 的 加 工 ， 其 负责 事件 生成 前 和 生成 过 程 中 的 规则 
(包括 计算 公式 ) 管理 工作 。 

3) 统一 事件 管理 : 负责 对 各 领域 事件 生成 后 的 规则 处 理 ， 包 括 事件 标准 化 、 过 
滤 、 压 缩 、 压 制 、 通 知 、 工 单 、 关 联 处 理 等 。 一 般 采 用 规则 引 警 的 方式 处 理事 件 。 

4) 数据 分 析 : 当 获 取 到 监控 报警 后 ， 首 先 要 解决 的 是 确认 其 有 效 性 ， 即 是 否 真 的 
发 生 了 生产 故障 ， 其 次 是 针对 已 发 生 的 生产 故障 ， 按 照 对 象 和 指标 关系 进行 定位 分 析 ， 
并 联合 故障 树 进 行 故障 诊断 ， 并 匹配 故障 处 置 场景 。 此 外 ， 数 据 分 析 还 负责 对 历史 事件 
的 聚 类 分 析 ， 更 新 对 象 、 指 标 关 系 ， 以 及 硬件 、 软 件 版 本 的 质量 、 计 费 分 析 等。 数据 分 
析 主 要 解决 的 是 保证 监控 报警 的 有 效 与 准确 ， 为 后 续 处 置 提 供 精 确 导 航 以 及 自学 习 的 
问题 。 

5) 事件 处 置 : 当 故 障 处 置 场景 匹配 后 ， 按 照 处置 模 板 调 取 各 类 服务 ， 按 照 预 设 条 
件 完 成 模板 中 的 处 置 逻辑 。 

6) 有 效 展现 与 运用 : 对 于 有 效 的 监控 报警 数据 、 处 置 结果 与 过 程 ， 应 按 需 展现 与 
运用 ,分 别针 对 操作 人 员 、 技 术 人 员 、 管 理 人 员 的 不 同 工 作 目标 ， a 
界面 。 




















10.5.4 应 用 场景 


有 效应 用 监控 智能 处 置 体 系 ， 可 建设 并 不 断 维护 其 良好 运转 。 在 数据 中 心 运 维 管理 

工作 之 中 ， 监 控 智 Te 
1) 运行 事件 管理 前 移 : 通过 不 断 完 善 智能 处 置 体系 ， 在 事件 发 生 的 征兆 阶段 发 现 
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相关 线索 ， 并 建立 长 效 工作 机 制 ， 跟 踪 报 警 的 处 理 结 果 ， 不 断 优化 与 改进 预测 策略 ， 通 
过 对 策略 的 不 断 演 练 ， 提 升 监控 预警 能 力 ， 将 运行 事件 的 管理 与 控制 前 移 到 预警 阶段 ， 
以 减 小 故障 对 于 生产 的 影响 。 

2) 智能 辅助 分 析 : 由 于 生产 环境 的 技术 复杂 性 ， 一 定 会 发 生成 因 复杂 的 故障 ， 并 
很 难 进行 根源 分 析 ， 在 这 种 情况 下 就 需要 人 工 的 介入 。 通 过 研究 发 现 ，90% 以 上 的 专家 
分 析 都 离 不 开 长 期 历史 图 表 、 故 障 时 刻 数 值 、 错 误 日 志 以 及 常规 命令 ， 系 统 可 以 通过 规 
则 的 不 断 完善 ， 在 故障 现象 发 生 时 ， 按 照 技术 逻 辑 与 经 验 ， 抓 取 推送 相关 数据 ， 为 技术 
人 员 故 障 分 析 提 供 详细 资料 ， 节 约 宝贵 的 应 急 时 间 。 

3) 监控 基准 指标 管理 : 对 于 管理 了 大 量 设 备 与 系统 的 数据 中 心 来 说 ， 将 监控 指标 
标准 化 是 非常 重要 的 课题 。 但 现实 往往 是 理论 与 实际 脱节 ， 通 用 的 指标 和 效 值 自生 效 之 
日 起 就 开始 不 断 地 被 改 来 改 去 。 可 以 通过 对 系统 中 指标 和 效 值 的 归 类 分 析 ， 动 态 确 认 和 
调整 基准 指标 ， 监 控 纳 管 更 加 科学 有 效 。 

4) 无 效 报警 事件 分 析 : 对 历史 报警 事件 进行 分 析 ， 查 找 监控 对 象 、 监 控 指 标 相 同 
的 重复 发 生 事件 ， 分 析 其 处 置 模式 、 处 置 效 果 、 故 障 持续 时 间 与 正常 时 间 的 比率 关系 、 
报 敬 通知 成 本 等 ， 查 找 疑似 无 效 报警 事件 ， 交 由 相关 管理 员 分 析 解 决 ， 降 低 监 控 系 统 虚 
管 率 。 

5) 产品 质量 分 析 : 根据 产品 厂商 、 版 本 等 指标 分 类 分 析 历 史 事 件 ， 绘 制 产品 的 质 
量 基 线 。 同 时 更 重要 的 是 汇总 其 关联 事件 ， 进 一 步 确定 产品 质量 对 运 维和 业务 的 影响 ， 
为 采购 、 追 责 等 工作 提供 有 效 依据 。 

6) 系统 运行 容量 规划 : 目前 生产 系统 的 构成 环节 多 、 关 联 性 广 ， 因 此 对 于 生产 系 
统 运 行 容 量 的 预 估 与 管理 ， 需 要 实时 采集 各 技术 层面 数据 ， 并 能 够 进行 有 效 整 合 ， 发 现 
各 个 环节 运行 数据 之 间 的 变化 联动 性 、 放 大 系数 等 规律 ， 然 后 根据 业务 请 求 的 变化 情 
况 ， 去 评估 系统 整体 容量 变化 规律 、 系 统 容量 瓶颈 等 关注 点 。 

7) 客户 交易 动态 数据 分 析 : 在 运行 监测 体系 工作 过 程 中 ， 能 够 通过 海量 非 结 构 化 

志和 采集 、 网 络 报 文 镜像 分 析 等 手段 ， 获 取 客 户 交 易 行为 的 动态 数据 ， 一 方面 能 够 及 时 
发 现 客户 交 易 过 程 中 的 各 类 故障 及 异常 现象 ， 另 一 方面 也 能 够 分 析 客 户 的 交易 趋势 及 喜 
好 等 ， 为 业务 流程 优化 、 应 用 系统 功能 优化 等 提供 分 析 数 据 ， 为 数据 中 心 从 运 维 中 心 向 
运营 中 心 发 展 提供 技术 基础 。 












































10.6 ”私有 云 实施 收益 


建行 私有 云 在 经 过 新 一 代 1 期 、 新 一 代 2. 1 期 以 及 南湖 搬迁 几 次 大 规模 建设 后 ， 已 
初 具 规模 ， 形 成 北京 、 武 汉 两 地 部 署 ， 未 来 在 稻 香 湖 建成 后 ， 将 真正 形成 两 地 三 中 心 部 
署 模式 。 

目前 ， 北 京 、 武 汉 两 个 数据 中 心 已 建立 30 个 资源 池 ， 近 400 个 应 用 系统 ， 新 、 老 
一 代 物 理 服务 器 数量 超过 4000 台 ， 虚 拟 机 数量 超过 5000 个 ， 管 理 的 操作 系统 总 数 也 超 
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过 9000 个 ,已 形成 覆盖 Web、AP、DB 三 层 功 能 结构 ，Linux、AIX、HP Unix、Win- 
dows 等 多 种 平台 ，X86 、 小 型 机 多 种 物理 服务 器 类 型 的 基础 设施 资源 池 ， 提 供 了 38 种 
云 服 务 、119 个 套餐 、 自 动 化 应 用 发 布 、 平 台 参 数 管理 等 多 种 和 运 维 自动 化 手段 ， 为 老 一 
代 、 新 一 代 提 供 了 高 效 、 快 捷 的 运 维 模式 。 











10.7 私有 云 实 施 难 点 和 建议 


通常 商业 银行 采用 成 熟 、 可 靠 的 传统 IT 技术 路 线 ， 在 产品 选择 上 往往 采用 通用 的 
言 息 技术 和 商业 软件 ， 在 信息 技术 实施 、 支 持 和 保障 上 很 大 程度 上 依赖 信息 技术 供应 
商 ， 存 在 技术 标准 不 统一 、 新 技术 应 用 和 技术 创新 缓慢 、 投 入 产 出 低 等 问题 。 而 云 计 算 
则 代表 了 一 种 采取 互联 网 思维 的 全 新 技术 路 线 ， 其 核心 思想 是 在 低 成 本 、 标 准 化 的 硬件 
和 开放 的 开源 软件 的 基础 上 ， 通 过 分 布 式 系统 实现 系统 处 理 能 力 的 无 限 扩展 ， 并 借助 合 
适 的 应 用 架构 弥补 基础 软 硬 件 的 不 足 ， 满 足 其 可 靠 性 的 要 求 。 

对 于 银行 而 言 ， 云 计算 的 本 质 是 实现 “去 开化 " ， 即 通过 科技 创新 ， 实 现 IT 和 业 
务 融 合 ， 完 美 快 速 交 付 开 服务 ,使 并 部门 从 成 本 中 心 、 服 务 提供 者 的 角色 ， 转 变 为 企 
业内 各 部 门 业务 发 展 的 战略 伙伴 ， 实 现 科 技 引 领 业务 。 因 此 ， 银 行 数据 中 心 的 “ 云 
化 ” ， 重 点 不 是 关注 技术 概念 ， 也 不 是 单纯 思考 如 何 利用 技术 重建 或 翻新 数据 中 心 ， 而 
是 根据 自身 业务 发 展现 状 和 未 来 规划 ， 逐 步 实现 技术 、 人 员 、 资 源 和 过 程 四 个 核心 要 素 
的 有 机 融合 和 持续 改进 。 换 句 话 说， 数据 中 心 的 “ 云 化 ”就 是 从 技术 转向 服务 的 过 程 。 
因此 ， 云 计算 将 对 数据 中 心 运营 服务 管理 能 力 产 生 巨大 影响 ， 也 对 传统 IT 运营 团队 提 
出 了 更 高 的 要 求 ， 要求 具备 更 新 、 更 全 面 、 更 高 层次 的 搁 术 、 运 党、 管理 和 服务 等 综合 
能 力 。 

同时 ， 云 计算 对 银行 的 数据 中 心 运 维 模式 也 将 产生 深远 的 影响 。 以 前 烟 贺 式 的 系统 
部 署 和 运 维 分 工 模式 必然 被 打破 ， 系 统 整 合 与 一 体 化 运 维 将 是 未 来 的 趋势 。 同 时 ， 标 准 
化 的 系统 建设 、 自 动 化 工具 将 在 银行 业 迅 速 普 及 ， 对 银行 的 运 维 工作 和 安全 生产 将 产生 
深远 的 影响 和 革命 性 的 变革 。 

1) 复杂 的 系统 越 来 越 依赖 工具 的 运 维 。 

2) 运 维 的 组 织 架 构 将 产生 变化 ， 一 体 化 的 运 维 需 要 一 体 化 的 组 织 架 构 。 

3) 当前 的 银行 流程 和 制度 是 根据 人 工 运 维 的 模式 制定 的 ， 随 着 工具 的 普及 ， 流 程 
将 会 进行 草 新 和 重新 制定 ， 才 不 会 制约 企业 的 发 展 。 

4) 传统 IT 的 运 维 人 员 将 需要 更 新 。 实 施 云 计算 后 ， 运 维 的 核心 是 自动 化 工具 系 
统 ， 以 及 支撑 运 维 工具 的 专家 和 系统 开发 人 员 ，Dev0Ops 的 理论 会 进一步 普及 ， 传 统 运 
维 人 员 需 要 进一步 走向 业务 。 

安全 是 云 计 算 实 施 遇 到 的 为 外 一 个 难题 。 云 计算 包含 大 量 新 的 开源 软件 ， 商 业 银 行 
的 开 架构 还 缺乏 对 此 进行 维护 的 经 验 ， 将 会 引入 新 的 安全 问题 。 同 时 ， 随 着 云 计算 和 
SDDC (软件 定义 数据 中 心 ) 的 发 展 ， 硬 件 、 软 件 的 边界 越 来 越 模糊 ， 很 多 传统 的 安全 
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分 层 和 安全 设计 已 经 不 再 适用 ， 比 如 很 多 公有 云 就 取消 了 传统 的 防火 墙 ， 改 之 以 软件 的 
方式 实现 ， 防 止 防火 墙 成 为 瓶颈 。 另 外 ， 向 云 计 算 转 型 期 的 系统 安全 需要 特别 注意 。 云 
计算 描绘 的 前 景 很 好 。 但 传统 商业 银行 的 IT 架构 向 云 计算 的 转型 也 不 能 一 践 而 就 ， 要 
根据 自身 的 技术 实力 统筹 规划 ， 做 好 转型 期 的 风险 防范 工作 ,保障 金融 系统 的 稳定 
运行 。 

基于 以 上 考虑 ， 对 商业 银行 的 数据 中 心 云 化 ， 有 如 下 建议 : 

1) 基于 安全 性 考虑 ， 私 有 云 是 云 计算 较 好 的 实施 方向 和 切入 点 。 建 行 基 础 设施 私 
有 云 研 究 与 应 用 取得 的 突破 ,积累 了 大 型 商业 银行 在 生产 系统 实施 云 计算 的 经 验 ， 并 通 
过 私有 云 技术 有 效 解决 了 传统 数据 中 心 面临 的 资源 管理 复杂 、 运 维 操作 风险 高 、 服 务 响 
应 慢 等 难题 ， 节 约 了 成 本 ， 增 强 了 业务 敏捷 性 。 随 着 深入 应 用 云 计算 技术 ， 未 来 银行 业 
可 能 形成 内 部 私有 云 和 外 部 行业 公有 云 相 绪 合 的 混合 云 模式 。 

2) 私有 云 实施 的 前 提 是 做 好 标准 化 和 规范 化 工作 。 不 同 企业 之 间 存 在 差异 ， 云 计 
算 并 不 能 形成 一 套 可 以 直接 使 用 外 购 的 通用 解决 方案 ， 因 此 企业 自主 可 控 能 力 建设 非常 
重要 。 建 行 在 私有 云 实施 过 程 中 ， 自 主 完成 了 云 计 算 底层 最 核心 的 资源 池 和 云 服务 的 业 
务 逻 辑 设计 ， 将 底层 独立 的 服务 器 资源 池 、 存 储 资源 和 网 络 资源 池 封 装 成 一 体 化 的 资源 
向 外 提供 ， 并 根据 业务 特性 细 分 成 不 同类 型 的 服务 池 ， 在 成 本 和 可 靠 性 上 取得 平衡 ， 形 
成 了 基础 设施 统一 的 标准 规范 。 

3) 实践 证 明 ， 大 型 商业 银行 根据 自身 需求 ， 通 过 自主 研发 、 量 身 定制 云 计算 标 
准 、 云 计算 规范 和 云 管理 平台 ， 实 现 传统 数据 中 心 “ 云 化 ”管理 切实 可 行 。 并 且 ， 综 
合 了 金融 行业 稳定 性 和 互联 网 行业 敏捷 性 特点 ， 上 自主 研发 方案 在 技术 先进 性 、 业 务 适 用 
性 、 自 主 可 控 性 上 比 直 接 外 购 商 业 软 件 具有 更 明显 的 优势 ， 与 互联 网 行业 的 “ 云 ” 相 
比 也 有 独到 之 处 ， 会 对 银行 业 信息 技术 国产 化 进程 发 挥 积极 促进 作用 。 保 持 一 支 长 期 稳 
定 的 、 由 行内 人 员 作 为 核心 成 员 的 实施 团队 ， 是 自主 研发 成 败 的 关键 所 在 。 

4) 云 计算 实施 成 败 和 整体 效果 由 整个 企业 IT 战略 决定 ， 不 仅仅 取决 于 技术 因素 和 
实施 团队 。 需 要 从 战略 、 规 划 、 架 构 、 开 发 、 运 维 多 个 领域 进行 统筹 规划 ， 提 升 部 门 间 
的 沟通 和 协作 水 平 ， 促 进 应 用 架构 与 基础 设施 架构 融合 ， 设 计 出 更 合理 的 应 用 架构 ， 提 
升 应 用 研发 速度 和 用 户 体验 。 使 业务 人 员 和 最 终 用 户 切 身 感知 到 效果 才 是 真正 的 云 
计算 。 

5) 相对 于 互联 网 行业 ， 银 行业 云 计算 数据 中 心 建设 还 处 于 起 步 阶 段 ， 经 验 和 方法 
还 没有 形成 完整 的 最 佳 实践 ; 同时， 云 计算 技术 的 核心 是 理念 、 流 程 、 技 术 的 深度 融 
合 ， 技 术 本 吴 没有 较 高 的 壁垒 。 当 前 云 计算 还 在 快速 发 展 中 ， 这 给 银行 业 实现 后 发 先 
至 、 弯 道 超 车 、 打 造 先 进 云 数 据 中 心 的 跨越 式 发 展 提供 了 恨 好 机 遇 。 
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11.1 开发 测试 云 建 设 背 景 








2014 年 ， 工 业 和 信息 化 部 针对 云 计算 的 “十 三 五 ”规划 已 经 启动 ， 推 动 云 计算 
产业 链 的 快速 发 展 。 与 此 同时 ， 国 家 发 展 改革 委 、 财 政 部 、 工 信 部 等 部 委 进 一 步 组 
织 实施 2014 年 云 计算 工程 ， 将 专项 重点 支持 云 计算 服务 平台 建设 、 基 于 云 计算 平台 
的 大 数据 服务 、 云 计算 和 大 数据 解决 方案 及 推广 项 目 3 个 领域 。 云 计算 “十 三 五 ” 
规划 的 进一步 落地 ， 未 来 信息 设备 国产 化 的 步伐 有 望 进一步 加 快 ， 云 计算 行业 有 望 
迎 来 爆发 式 增长 。 

为 了 赶 上 业务 高 速 发 展 的 要 求 ， 在 商业 竞争 中 获得 业务 优势 ， 中 国 邮 政 储蓄 银行 
(以 下 简称 邮 储 银行 ) 应 用 系统 的 开发 量 激增 ， 开 发 任务 也 非常 繁重 ， 并 行 建设 的 应 用 
系统 年 平均 在 100 个 以 上 。 为 了 解决 开发 测试 的 效率 问题 ， 提 高 开发 应 用 系统 的 可 靠 性 
和 稳定 性 ， 构 建 良 好 的 开发 测试 环境 已 成 为 提高 应 用 系统 开发 效率 及 质量 、 加 快 系统 上 
线 速 度 、 提 升 业务 竞争 力 的 一 个 重要 因素 。 因 此 ， 建 设 符合 银行 业 需要 的 开发 测试 云 环 
境 ， 替 代 传 统 应 用 系统 的 开发 、 测 试 模式 就 成 为 一 种 业务 发 展 的 必然 要 求 。 
开发 测试 云 ， 是 基础 架构 云 在 开发 测试 环境 下 的 一 种 典型 应 用 。 通 过 建立 开发 测试 
云 ， 解决 开发 测试 环境 下 ， 环 境 部 署 和 配置 效率 低下 、 管 理 难度 较 大 的 问题 ， 实 现 开发 
测试 环境 下 ， 按 需 驱动 的 资源 调度 ; 实现 自动 化 的 部 署 和 配置 硬件 、 操 作 系统 、 中 间 件 
和 应 用 ; 实现 实时 地 追踪 、 监 控 系 统 资源 使 用 状况 ; 实现 虚拟 化 管理 容量 和 镜像 管理 。 
从 根本 上 降低 人 工 运 维 成 本 ， 降 低 潜 在 的 配置 管理 错误 ， 提 高 开发 测试 环境 下 的 生产 
效率 。 
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11.2 银行 开发 测试 环境 现状 分 析 


11.2.1 硬件 及 机 房 现状 


目前 邮 储 银行 系统 开发 测试 环境 设备 比较 多 ， 类 型 多 样 ， 由 多 台 PC 服务 器 、 多 人 台 
小 型 机 、 数 据 存 储 和 网 络 设备 等 共同 组 成 。 设 备 利 用 率 不 高 ， 测 试 环境 设备 管理 依旧 采 
用 纸 面 单据 定时 巡 检 的 方式 ， 依 靠 大 量 的 Excel 表格 来 更 新 维护 资产 信息 ， 管 理 人 员 劳 
动 强度 非常 大 ， 但 仍 无 法 做 到 实时 、 准 确 、 主 动 式 管理 ， 对 IT 基础 设施 的 配置 和 资源 
使 用 情况 缺乏 了 解 。 造 成 这 一 现状 的 原因 是 设备 资产 的 多 样 性 、 分 布 范围 的 广泛 性 和 关 
联 关系 的 复杂 性 。 邮 储 银行 开发 测试 环境 所 使 用 服务 絮 的 平均 CPU 使 用 率 往 往 不 到 
10% ， 宽 带 利 用 率 不 到 15% 。 资 源 的 浪费 比较 严重 ,导致 了 投资 回报 率 的 降低 。 我 行 
的 开发 测试 环境 分 布 在 不 同 的 中 心 ， 不 同 中 心 之 间 网 络 带 宽 有 限 ， 环 境 中 存在 着 诸多 运 
行 在 不 同 品牌 和 不 同 操 作 系统 的 应 用 系统 ， 这 些 应 用 系统 种 类 繁杂 、 部 署 分 散 。 尤 其 对 
于 其 中 X86 架构 的 服务 器 ， 大 多 数 采 用 一 对 多 的 应 用 部 署 模式 ， 即 为 一 个 应 用 部 署 一 
台 X86 服务 器 ， 同 时 准备 一 台 备 用 机 以 保证 突 发 事件 发 生 时 ， 能 够 比较 快速 地 恢复 应 
用 ， 由 此 导致 银行 内 部 有 着 数量 众多 的 X86 服务 器 。 同 时 ， 测 试 环境 中 其 他 厂商 的 小 
型 机 、 服 务 咒 也 是 类 型 众多 ， 比 如 Power 系列 服务 器 、 各 种 刀片 式 服务 器 、 小 型 机 等 。 
这 种 情况 会 造成 以 下 问题 : 

(1) 硬件 采购 成 本 高 居 不 下 采购 设备 数量 很 多 ， 导致 采购 成 本 较 高 ， 无 法 有 效 
降下 来 。 

(2) 运营 和 维护 成 本 高 ” 面 对 数 量 庞大 、 复 杂 的 服务 器 资源 ， 运 维 人 员 要 逐一 管 
理 各 类 服务 右 ， 运营 、 维 护 的 工作 量 、 强 度 非常 大 ， 造 成 人 力 成 本 的 上 升 。 

(3) 电力 及 空间 资源 浪费 ”由 于 存在 数量 众多 的 各 类 服务 器 ， 数 据 中 心 内 部 机 柜 
空间 、 电 量 消耗 、 温 度 控制 等 资源 都 存在 相当 程度 的 浪费 。 

(4) 服务 器 部 署 效率 低下 ”由 于 业务 服务 器 数量 众多 ， 难 以 管理 ， 大 大 降低 了 新 
业务 应 用 测试 加 载 时 间 ， 无 形 中 导致 了 不 同 程度 的 损失 。 

(5) 维护 和 变更 管理 周期 长 ”如 果 有 些 硬 件 发 生 故 障 ， 会 导致 业务 测试 从 几 小 时 
到 几 天 的 中 断 ， 同 时 在 维护 和 变更 管理 时 也 可 能 需要 维持 数 小 时 的 时 间 ， 同 样 影响 了 业 
务 的 运行 。 

(6) 系统 兼容 性 差 ” 由 于 众多 不 同 品牌 、 不 同型 号 的 服务 天 共存 ， 在 系统 和 应 用 
迁移 时 需要 部 署 兼 容 系统 的 工作 。 这 样 的 迁移 通常 非常 困难 ， 无 疑 也 导致 了 一 些 业务 无 
法 正常 使 用 。 

(7) 资源 利用 率 低 ”X86 平台 的 应 用 ， 平均 硬件 资 源 利 用 率 较 低 ， 大 量 的 硬件 资 
源 被 浪费 ， 长 期 不 能 发 挥 应 用 的 性 能 。 
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11.2.2 操作 系统 及 应 用 系统 现状 


测试 环境 构成 比较 复杂 ， 操 作 系 统 有 Unix、Windows、Linux、AIX 等 中 间 件 及 数 
据 库 种 类 较 多 ， 基 础 环境 软件 版 本 组 合 情 况 较 多 。 

邮 储 银行 每 年 有 近 百 项 工程 并 行 开 发 、 测 试 ， 参 与 开发 测试 的 人 员 规模 上 千 ， 开 发 
测试 环境 资源 往往 是 比较 紧张 的 。 每 个 应 用 系统 所 需要 的 环境 至 少 要 包括 : 开发 测试 环 
境 、 验 证 测试 环境 和 联 调 测试 环境 。 每 套 环境 都 需要 相应 的 基础 应 用 系统 ， 一 些 开发 项 
目 没 有 独立 的 开发 测试 环境 ， 只 能 与 其 他 开发 项 目 共用 环境 ， 各 种 软件 、 不 同 版 本 交织 
在 一 起 ， 导 致 应 用 频繁 在 不 同 机 需 上 进行 迁移 ， 很 容易 出 现 各 种 错误 ， 延 误 项 目 进度 。 
相对 于 生产 环境 ， 开 发 测试 环境 具有 系统 架构 复杂 ， 应 用 负载 不 均 、 资 源 变更 频繁 等 
特点 。 





11.2.3 人 员 及 管理 现状 


开发 测试 环境 管理 人 员 承 担 着 整个 银行 项 目 开 发 测试 环境 的 系统 运 维 工 作 ， 但 用 于 
维护 的 人 员 数 量 不 足 。 开 发 测试 环境 日 常 管理 工作 一 般 包 括 : 搭建 或 回收 环境 、 释 放 或 
修改 物理 资源 、 监 控 应 用 系统 的 故障 、 统 计 系统 资源 利用 率 等 。 这 些 传 统 的 管理 方式 ， 
基本 上 都 需要 靠 手工 方式 来 完成 ， 管 理 效率 低下 ， 不 堪 重 负 ， 也 容易 出 错 ， 影 响 软 件 交 
付 时 间 。 开 发 测试 资源 申请 周期 一 般 都 比较 长 。 一 个 半年 左右 的 开发 测试 项 目 需要 大 约 
1 个 月 的 时 间 花 费 在 申请 资源 、 审 批 资源 、 归 还 资源 等 事务 性 、 重 复 性 的 工作 上 。 这 些 
工作 无 疑 拖延 了 开发 测试 的 进度 。 

另 一 方面 ， 近 几 年 开 资源 云 化 趋势 明显 加 快 ， 云 环境 和 传统 物理 机 环境 的 资产 管 
理 最 大 的 区 别 是 ， 云 环境 资源 供给 更 加 弹性 化 、 动 态 化 ， 绝 大 多 数 业 务 系统 以 虚拟 机 的 
形式 运行 ， 而 虚拟 机 的 资源 规格 可 以 动态 调整 以 及 在 不 同 物理 机 之 间 动 态 迁 移 ， 如 何 实 
时 准确 地 体现 虚拟 机 和 物理 机 的 映射 关系 以 及 虚拟 机 规格 是 传统 的 资产 管理 所 无 法 做 到 
的 ， 在 这 种 背景 下 如 何 有 效 管理 和 维护 成 倍增 加 的 虚拟 设备 资产 成 为 一 个 重大 的 挑战 。 





























11.3 基于 云 技术 的 开发 测试 环境 探索 


11.3.1 新 一 代 开 发 测试 环境 探索 


随 着 IT 建设 规模 不 断 扩张 ， 基于 对 虚拟 化 技术 的 理解 ， 邮 储 银 行 计划 建立 了 新 一 

代 云 应 用 ， 首 先 从 软件 开发 测试 环境 入手 ， 通 过 整合 不 同 架构 的 计算 资源 ， 提 高 全 管 
理 全 过 程 的 风险 管控 能 力 ， 实 现 人 员 、 设 备 、 服 务 的 精细 化 管理 。 新 一 代 开 发 测试 环境 
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重点 考虑 了 以 下 问题 : 一 是 控制 IT 投资 成 本 ,包括 各 类 软 硬 件 、 机 房 设备 的 投资 ， 实 
现 更 加 精细 化 的 IT 成 本 控制 ; 二 是 加 速 项 目 开 发 部 署 和 业务 需求 响应 速度 ， 缩 短 便 件 
部 署 周 期 ， 进 而 缩短 项 目 整体 实施 周期 ; 三 是 持续 加 强 开 发 环境 安全 管理 ， 限 制 外 部 人 
员 对 移动 设备 的 使 用 ， 防 范 数 据 信 息 汇 露 的 风险 。 

通过 深入 细致 的 调研 与 评估 ， 摸 索 出 一 条 符合 自身 情况 的 云 计算 建设 之 路 ， 即 以 虚 
拟 化 技术 为 基础 ， 综 合 运 用 多 种 软 人 硬件 技术 ， 对 传统 开发 环境 进行 重 构 ， 按 分 步 走 的 方 
式 打 造 安全 灵活 的 开发 测试 环境 。 

循序 渐进 地 对 服务 器 进行 了 P2V (Physical to Virtual ， 物 理 机 向 虚拟 机 迁移 ) ， 将 部 
分 项 目的 开发 测试 工作 放 在 虚拟 化 环境 下 进行 。 采 用 以 虚拟 化 技术 为 核心 的 解决 方案 ， 
大 大 缩短 了 系统 环境 的 部 署 周期 ， 实 现 了 基础 平台 对 敏捷 开发 的 支持 ， 有 效 推进 了 项 目 
进度 。 同 时 ， 各 类 IT 投资 成 本 (包括 硬件 成 本 、 采 购 周 期 的 时 间 成 本 、 环 境 部 署 的 人 
工 成 本 等 ) 得 到 有 效 控 制 。 

将 虚拟 桌面 与 终端 配合 应 用 ， 通 过 采用 桌面 虚拟 化 技术 ， 有 效 解 决 了 外 部 流动 人 员 
自行 携带 便携 式 计算 机 工作 模式 带 来 的 安全 问题 ， 统 一 监控 管理 数据 、 源 码 、 文 档 等 信 
息 ， 降 低 了 信息 安全 风险 ; 综合 运用 磁盘 管理 、 网 络 管理 、 终 端 管 理 、 信 息 加 密 等 各 类 
软 硬 件 技 术 ， 对 传统 开发 环境 进行 重 构 ， 不 断 完善 管理 制度 和 流程 ， 实 施 开发 测试 环境 
多 维度 管理 体系 建设 。 

在 开发 测试 环境 中 ， 通 过 云 计 算 平 台 统 一 管理 包括 虚拟 服务 器 、 虚 拟 桌面 在 内 的 各 
类 IT 资源 。 云 计算 平台 同时 具有 应 用 级 别 的 自助 交付 功能 ， 可 实现 自助 化 申请 、 审 批 、 
回收 等 流程 ， 并 可 实现 按 需 求 进行 自动 备份 、 归 档 ， 按 资源 进行 成 本 分 摊 等 。 监 控 智能 
人 处置 流程 如 图 11-1 所 示 。 
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业务 管理 员 
图 11-1 监控 智能 处 置 流程 


11.3.2 云 计算 助力 企业 运 维 管理 


在 云 计算 环境 下 ， 运 维 人 员 面 向 的 是 所 有 的 云 资 源 ， 完 成 对 不 同 资源 的 分 配 、 调 度 
和 监控 。 云 环境 下 的 运 维 管理 的 目标 是 适应 上 述 的 变化 ， 通 过 改进 运 维 方式 和 流程 来 实 
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现 云 资 源 的 运行 维护 管理 。 利 用 云 计算 提升 企业 运 维 管理 水 平 主要 体现 在 以 下 几 个 
方面 : 

1) 资源 调度 。 提 供 基于 策略 的 资源 调度 ， 系 统 自 动 判 断 当 前 资源 状态 ， 并 且 执 行 
自动 的 工作 流 来 分 配 及 部 署 资源 ， 按 照 既 定 的 适用 规则 实现 实时 响应 服务 请 求 ， 根 据 用 
户 需求 实现 资源 的 自动 化 生成 、 分 配 、 回 收 和 迁移 ， 用 以 支持 用 户 对 资源 的 弹性 需求 。 

2) 统一 监控 。 提 供 操作 系统 层 、 虚 拟 化 层 、 物 理 硬 件 层 、 应 用 层 等 多 维度 的 统一 
监控 平台 ， 实 时 监控 、 捕 获 资源 的 部 署 状 态 、 使 用 和 运行 指标 、 各 类 告警 信息 ， 生 产 丰 
富 的 报表 ， 供 平台 运 维 人 员 决 策 和 处 理 。 

3) 统一 管理 平台 。 提 供 监控 面向 管理 维护 人 员 的 统一 管理 平台 ， 屏 蔽 异 构 的 基础 
硬件 以 及 虚拟 化 平台 环境 ， 将 服务 、 资 源 的 各 项 管理 功能 构成 一 个 统一 的 工作 台 ， 来 实 
现 管理 维护 人 员 的 配置 、 监 控 、 统 计 等 功能 需要 。 

4) 自动 化 运 维 。 提 供 自 动 化 运 维 手段 ， 简 化 运 维 人 员 的 资源 部 署 、 调 整 、 查 看 等 
复杂 度 。 

5) 自 服务 门户 。 自 服务 门户 将 支撑 基础 设施 资源 、 平 台 资 源 和 应 用 资源 以 服务 的 
方式 交互 给 用 户 使 用 ， 提 供 基 础 设施 资源 、 平 台 资 源 和 应 用 资源 服务 的 检索 、 资 源 使 用 
情况 统计 等 自 服务 功能 ， 需 要 根据 不 同 的 用 户 提供 不 同 的 展示 功能 ， 并 有 效 隔离 多 用 户 
数据 。 

6) 身份 与 访问 管理 。 身 份 与 访问 管理 提供 身份 的 访问 与 管理 ， 只 有 授权 的 用 户 才 
能 访问 相应 的 功能 和 数据 ， 对 资源 服务 提出 使 用 申请 。 

7) 服务 质量 管理 。 服 务 质量 管理 遵循 服务 水 平 协议 要 求 ， 按 照 资 源 的 实际 使 用 情 
况 进 行 服 务 质 量 审核 与 管理 ， 如 果 服 务 质 量 没 有 达到 预先 约定 的 服务 水 平 协议 要 求 ， 将 
自动 进行 动态 资源 调配 ,或 者 给 出 资源 调配 建议 由 管理 者 进行 资料 的 调配 ， 以 满足 服务 
水 平 协议 的 要 求 。 

8) 服务 交付 管理 。 服 务 交付 管理 包括 交付 请 求 管理 、 服 务 模 板 管理 、 交 付 实 施 管 
理 ， 实 现 服务 交付 请 求 的 全 流程 管理 ,以 及 自动 化 实施 的 整体 交付 过 程 。 
































11.3.3 探索 的 创新 与 意义 


通过 引入 虚拟 化 等 一 系列 成 熟 技术 ， 可 以 有 效 降低 系统 开发 工作 量 和 开 基础 架构 
设施 的 耦合 度 ， 提 高 现 有 IT 资源 的 利用 率 ， 实 现 开 发 环境 中 终端 、 网 络 、 服 务 、 存 储 
等 资源 的 集中 管理 和 动态 扩展 。 在 开发 环境 管理 、 数 据 安全 、 基 础 设施 及 资源 整合 等 方 

面具 有 以 下 创新 特点 。 

1. 有 效 控制 开 成 本 
通过 实施 云 计算 平台 ， 银 行 对 开发 测试 环境 的 IT 资源 可 以 进行 重新 规划 和 利用 ， 
实现 全 资源 按 需 分 配 与 及 时 回收 ， 在 提升 IT 资源 使 用 效率 的 同时 ， 实 现 对 软件 开发 测 
试 环 境 中 的 硬件 成 本 、 机 房 运营 成 本 和 外 包 人 员 管 理 成 本 等 的 有 效 控制 。 不 仅 如 此 ， 利 
用 云 计算 平台 对 IT 资源 统一 监控 、 管 理 的 功能 ， 银 行 能 够 实现 根据 当前 资源 使 用 情况 
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和 增长 预 估 ， 制 订 合理 的 资源 扩容 计划 。 

2. 应 用 开发 环境 灵活 快捷 
通过 建立 云 计算 平台 ， 可 以 实现 开发 环境 管理 流程 的 自动 化 。 开 发 环境 的 准 入 、 资 
源 申请 、 设 备 申请 等 流程 的 自动 配置 和 流转 ， 大 大 缩短 了 应 用 开发 项 目 中 环境 准备 、 人 
员 入 场 、 应 用 软件 安装 等 环节 所 需要 的 时 间 。 借 助 云 计算 平台 ， 邮 储 银 行 得 以 构建 灵活 
快捷 的 应 用 研发 环境 。 

3. 实现 虚拟 环境 软 硬 件 “ 热 插 拔 ” 

上 借助 云 计算 平 台 ， 银 行 能 够 实现 虚拟 环境 软 硬 件 “ 热 捕 拔 ”。 在 云 计算 平台 上 ，IT 
基础 设施 实现 松 耦 合 ， 软 硬件 基础 设施 可 轻松 分 离 ， 按 需 部 署 在 不 同 的 地 理 位 置 并 完成 
各 自 的 任务 ， 当 任务 完成 后 又 可 迅速 整合 。 开 基础 设施 灵活 、 可 靠 、 稳 定 的 特性 ， 充 
分 满足 了 银行 I 项目 封 闭 开 发 、 多 地 开发 等 应 用 环境 要 求 。 

4. 打造 开发 测试 环境 信息 安全 体系 

将 云 计 算 技术 与 环境 准 入 、 桌 面 管理 、 数 据 加 密 等 技术 相 结合 ， 银 行 能 够 构建 开发 
测试 环境 的 信息 安全 体系 。 在 虚拟 桌面 环境 中 ， 对 IT 资源 进行 统一 配置 和 管理 ， 确 保 
数据 运行 和 存储 在 平台 内 部 ， 数 据 、 信 息 无 需 通过 网 络 传输 ， 彻 底 隔 绝 台 式 计 算 机 、 便 
携 式 计算 机 等 设备 接 入 网 络 带 来 的 风险 隐患 。 

结合 自身 软件 开发 测试 的 现状 ,利用 虚拟 化 技术 搭建 云 计算 平台 ， 达 到 提高 工作 效 
率 、 简 化 管理 流程 、 降 低 操作 风险 等 目的 。 云 计算 平台 具有 全 面 性 、 系 统 性 、 兼 容 性 、 
前 脆性 、 先 进 性 等 特点 。 

















11.4 开发 测试 云 建设 过 程 


11.4.1 开发 测试 云 的 建设 需求 


基于 邮 储 银行 开发 测试 环境 现状 分 析 ， 采 用 以 云 计 算 技 术 为 载体 、 以 虚拟 化 架构 为 
基础 、 以 自动 化 部 署 为 核心 的 银行 开发 测试 云 ， 并 以 此 实现 资源 的 最 大 化 利用 、 软 件 的 
自动 化 部 署 、 系 统 的 实时 监控 ， 提 升 银行 开发 测试 环境 管理 水 平 ， 满 足 应 用 系统 大 规模 
建设 的 要 求 。 

11. 4.1.1 业务 支撑 层 需求 

需要 向 开发 测试 云 平台 的 终端 用 户 提 供 统一 服务 的 门户 。 门 户 提 供 以 下 的 基础 
服务 : 

1. 用 户 管理 

平台 中 有 两 大 类 用 户 ， 分别 是 开发 测试 云 平台 管理 员 和 开发 测试 云 平 台 使 用 者 。 管 
理 员 负责 审批 对 云 平 台 上 所 有 资源 分 配 请 求 ， 增 加 或 减少 资源 数量 ， 修 改 项 目 时 间 ， 终 
止 或 删除 项 目 。 平 台 使 用 者 能 够 向 平台 申请 资源 ， 包 括 增加 或 减少 ， 变 更 使 用 时 间 以 及 
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终止 使 用 资源 。 

2. 软件 管理 

平台 管理 员 可 以 对 软件 进行 管理 ， 包 括 维护 可 部 署 的 操作 系统 镜像 及 软件 包 、 定 制 
或 客户 化 某 些 应 用 软件 或 者 商业 软件 的 部 署 。 

3. 使 用 计量 

提供 资源 使 用 情况 统计 报表 。 平 台 管理 员 能 给 出 每 个 使 用 者 使 用 的 物理 资源 数量 、 
时 间 和 利用 率 等 统计 信息 。 平 台 使 用 者 能 够 实时 获取 报告 ， 了 解 自己 申请 的 资源 使 用 
情况 。 

















4. 部 署 管理 

能 够 实时 了 解 平台 的 基本 性 能 状况 ， 提 供 对 当前 申请 使 用 的 虚拟 服务 器 的 状态 进行 
实时 监控 。 

5. 安全 管理 








未 来 保证 每 个 项 目的 安全 性 和 隔离 线 ， 平台 应 具备 完善 的 访问 策略 。 用 户 可 以 通过 
两 种 方式 访问 系统 : 访问 Web 界面 和 访问 项 目 虚拟 机 。 位 于 Web 界面 的 访问 需要 使 用 
用 户 ID 及 密码 。 对 于 虚拟 机 的 访问 可 以 通过 VPN 设备 对 用 户 进 行 认证 。 

11.4.1.2 运营 支撑 层 需求 

开发 测试 云 平 台 应 该 能 够 集中 管理 不 同 虚拟 化 平台 ， 具 有 跨越 异 构 平台 的 功能 ， 有 
效 整合 异 构 资 源 ， 支 持 kvm、VMware 、Xen、Hyper-V 等 多 种 虚拟 化 软件 。 能 够 实现 按 
需 分 配 的 弹性 资源 使 用 模式 ， 提 高 资源 利用 率 实 现 自动 化 虚拟 机 管理 和 软件 的 安装 ， 减 
少 人 工 操 作 ， 提 高 系统 交付 时 间 。 平 台 的 扩展 性 要 强 ， 也 允许 客户 进行 二 次 开发 ， 以 及 
部 署 自 定 义 软件 。 

开发 测试 云 建设 主要 解决 提高 开发 测试 环境 资源 利用 率 、 提 升 开 发 测试 环境 资源 部 
署 效率 和 提升 服务 水 平 。 为 了 解决 这 三 个 问题 ， 可 采取 多 种 技术 手段 加 以 解决 。 开 发 测 
试 云 建设 的 主要 内 容 是 通过 实现 虚拟 化 、 监 控 , 使 用 计划 、 自 动 化 供应 ,流程 管理 , 平 
台 和 工具 建设 ,搭建 一 个 完整 的 开发 测试 平台 系统 ， 以 实现 开发 测试 云 平 台 资源 的 有 效 
利用 。 其 涉及 自动 化 平台 的 建设 、 虚 拟 化 架构 的 搭建 和 管理 流程 的 梳理 和 开发 、 多 种 自 
动 化 软件 的 部 署 ， 以 及 其 他 自动 化 部 署 、 监 控 、 存 储 管理 的 软件 ， 流 程 自动 化 管理 软 
件 ， 虚 拟 化 平台 软件 等 。 

















11. 4.2 ”开发 测试 云 建设 过 程 


11.4.2.1 建设 目标 与 原则 

1. 建设 目标 : 

1) 引入 云 计算 管理 平台 ， 优 化 IT 组 织 架 构 、 制 度 和 流程 ， 实 现 资源 标准 化 、 自 动 
化 、 流 程 化 ， 提 高 业务 响应 效率 ， 同 时 采用 统一 管理 及 监控 ， 实 时 导出 业务 、 资 源 等 维 
度 的 视图 ， 从 而 更 好 地 进行 业务 决策 。 
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2) 引入 虚拟 化 技术 ,构建 云 计算 资源 池 ， 实 现 IT 系统 资源 共享 与 按 需 分 配 ， 是 云 
计算 的 基础 技术 实施 方向 。 

3) IT 系统 实施 云 计算 资源 池 ， 需要 在 IT 系统 建设 和 运 维 管 理 方 面 进行 变革 。 云 
计算 资源 分 配 如 图 11-2 所 示 。 

中 9 集中 的 、 跨 应 用 系统 ， 打 破 烟 加 式 限制 ，IT 系统 资源 不 再 局 限 在 某 个 应 用 甚至 
某 个 部 门 。 

@ 资源 池 的 建设 、 配 置 、 采 购 不 应 与 具体 项 目 捆绑 。 

@) 与 具体 应 用 无 关 的 横向 维护 ， 在 应 用 和 本 资源 之 间 的 界面 清晰 ， 运 维 管理 各 司 
其 职 ， 责 任 明 确 。 

@ 资源 管理 依赖 于 自 有 专业 团队 而 不 是 原 有 各 系统 集成 商 ， 能 够 最 大 化 缩短 需求 
响应 时 间 ， 满 足 应 用 按 需 申请 资源 、 快 速 上 线 的 需求 。 

@) 建立 合理 的 人 T 资源 服务 和 资源 使 用 质量 考核 机 制 ， 真 正 促进 资源 的 合理 应 用 ， 
降低 成 本 并 提高 效率 。 








图 11-2 云 计算 资源 分 配 





2. 建设 原则 
1) 高 可 靠 性 原则 : 平台 不 间断 、 持 续 可 用 。 
2) 可 扩展 性 原则 : 可 以 动态 伸缩 ， 满 足 应 用 和 用 户 规模 增长 的 需要 。 
3) 资源 灵活 分 配 原则 : 根据 业务 需求 可 进行 灵活 的 资源 动态 分 配 。 
4) 信息 安全 原则 : 明确 的 数据 安全 访问 、 存 储 、 备 份 机 制 。 
5) 开放 性 原则 : 支持 Unix 和 X86 平台 统一 管理 ， 文 持 多 种 虚拟 化 技术 的 统一 
文 持 异 构 存 储 的 统一 管理 。 
11.4.2.2 云 平台 建设 要 点 
每 个 云 平台 根据 用 户 群 的 不 同 ， 业 务 模式 的 不 同 ， 在 建设 中 ， 需 要 重点 考虑 的 问题 
也 不 一 样 。 对 于 云 平台 的 建设 ， 建 议 根据 分 步 走 的 规划 ， 特 别 是 在 初次 搭建 云 平台 的 客 
户 ， 建 议 遵 循 以 下 建设 要 点 : 

1. 资源 池 

云 计算 采用 池 化 资源 管理 。 所 谓 “ 池 ”就 是 公共 资源 ， 资 源 并 不 属于 某 一 个 应 用 
或 业务 ， 而 是 根据 其 要 求 ， 从 公共 资源 池 中 划分 资源 

2. 自动 化 

云 平 台 采 用 服务 管理 流程 化 、 自 动 化 的 方式 集中 管理 ,减少 人 为 参与 ， 为 平台 的 规 
模 化 扩展 提供 条 件 。 
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3. 易 用 性 
对 于 业务 系统 ， 作 为 云 计算 平台 的 用 户 ， 不 需要 关心 资源 的 来 源 及 原理 ， 只 需要 登 
录 系 统 ， 使 用 资源 。 

4. 快速 响应 

当 业 务 需求 变化 的 时 候 ， 云 平台 可 以 通过 弹性 伸缩 机 制 和 自动 化 来 快速 响应 ， 以 适 
应 业务 的 变化 。 

5. 可 度量 性 

云 平 台 的 各 种 资源 服务 ， 如 存储 、CPU 、 内 存 、 网 络 带 宽 和 软件 许可 证 等 ， 是 可 以 
监控 、 控 制 和 计量 的 。 平 台 可 以 更 好 地 统计 IT 资源 使 用 率 ， 为 服务 水 平 管理 提供 依据 。 

6. 高 可 扩展 性 

平台 建设 规模 会 随 着 业务 类 型 增加 和 业务 量 的 增加 而 迅速 扩展 ， 因 此 ， 高 可 扩展 性 
是 平台 的 重要 特征 。 

7. 高 可 靠 性 

云 平 台 通 过 多 副本 容错 和 计算 资源 同 构 可 互 换 来 提高 服务 的 可 靠 性 。 对 可 靠 性 比 一 
般 的 云 平台 更 高 ， 因 此 在 资源 选择 上 ， 就 要 采用 可 靠 性 高 的 服务 器 和 存储 。 

11.4.2.3 计算 资源 池 构 建 

服务 器 是 云 计 算 平 台 的 核心 ， 其 承担 着 云 计 算 平 台 的 “计算 ”功能 。 对 于 云 计 算 
平台 上 的 服务 器 ， 通 常 都 是 将 相同 或 者 相似 类 型 的 服务 需 组 合 在 一 起 ， 作 为 资源 分 配 的 
母体 ， 即 所 谓 的 服务 器 资 源 池 。 在 这 个 服务 器 资 源 池 上 ， 再 通过 安装 虚拟 化 软件 ， 使 得 
其 计算 资源 能 以 一 种 云 主机 的 方式 被 不 同 的 应 用 和 不 同 用 户 使 用 。 在 X86 系列 服务 器 
上 ,其 主要 是 以 云 主机 的 形式 存在 。 一 般 虚拟 化 软件 由 以 下 两 部 分 构成 : 

(1) 虚拟 化 内 核 平台 ”运行 在 基础 设施 层 和 上 层 操作 系统 之 间 的 “元 ”操作 系统 ， 
用 于 协调 上 层 操作 系统 对 底层 人 硬件 资源 的 访问 ,减轻 软件 对 硬件 设备 以 及 驱动 的 依赖 
性 ， 同 时 对 虚拟 化 运行 环境 中 的 硬件 兼容 性 、 高 可 靠 性 、 高 可 用 性 、 可 扩展 性 、 性 能 优 
化 等 问题 进行 加 固 处 理 。 

(2) 虚拟 化 管理 系统 ”主要 实现 对 数据 中 心 内 的 计算 、 网 络 和 存储 等 硬件 资源 的 
软件 虚拟 化 ， 形 成 虚拟 资源 池 ， ee ee 
算 、 虚 拟 网 络 、 虚 拟 存 储 、 高 可 靠 性 (HA) 、 动 态 资源 调度 、 云 主机 容 灾 与 备份 、 
主机 模板 管理 、 集 群 文件 系统 、 虚 拟 交换 机 策略 等 。 

采用 虚拟 化 平台 对 多 台 服 务 器 虚拟 化 后 ， 连 接 到 共享 存储 ， 构 建成 计算 资源 池 ， 

过 网 络 按 需 为 用 户 提供 计算 资源 服务 。 同 一 en a 
务 器 上 动态 漂移 ， 实 现 资源 的 动态 调配 。 

计算 资源 池 的 构建 可 以 采用 以 下 六 个 步骤 完成 ， 即 计算 资源 池 分 类 设计 、 主 机 池 设 
计 、 集 群 设计 、 云 主机 设计 、 云 主机 模板 设计 和 高 可 用 性 设计 。 

1. 计算 资源 池 分 类 设计 

在 搭建 服务 器 资源 池 之 前 ， 首 先 应 该 确定 资源 池 的 数量 和 种 类 ， 并 对 服务 器 进行 归 
类 。 归 类 的 标准 通常 是 根据 服务 器 的 CPU 类 型 、 型 号 、 配 置 、 物 理 位 置 和 用 途 来 决定 
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的 。 对 云 计算 平台 而 言 ， 属 于 同一 个 资源 池 的 服务 器 ， 通 常会 将 其 视 为 一 组 可 互相 替代 
的 资源 。 因 此 ， 一 般 都 是 将 相同 处 理 器 、 相 近 型 号 系列 并 且 配 置 与 物理 位 置 接近 的 服务 
器 ， 比 如 相近 型 号 、 物 理 距 离 不 远 的 机 架 式 服务 器 。 在 做 资源 池 规 划 的 时 候 ， 也 需要 考 
虑 其 规模 和 功用 。 如 果 单 个 资源 池 的 规模 越 大 ， 可 以 给 云 计 算 平 台 提供 更 大 的 灵活 性 和 
容错 性 : 更 多 的 应 用 可 以 部 署 在 上 面 ， 并且 单个 物理 服务 器 的 宕 机 对 整个 资源 池 的 影响 
会 更 小 些 。 但 是 同时 ， 太 大 的 规模 也 会 给 出 口 网 络 甜 吐 带 来 更 大 的 压力 ， 各 个 不 同 应 用 
之 间 的 干扰 也 会 更 大 。 

初期 的 资源 池 规 划 应 该 涵盖 所 有 可 能 被 纳 管 到 云 计算 平台 的 所 有 服务 央 资 源 ， 包 括 
为 搭建 云 计 算 平台 新 购置 的 服务 器 、 用 户 内 部 目前 闲置 着 的 服务 器 以 及 现 有 的 并 正在 运 
行 着 业务 应 用 的 服务 器 。 在 云 计算 平台 搭建 的 初期 ， 目 前 正在 为 业务 系统 服务 的 服务 器 
并 不 会 直接 被 纳入 云 计算 平台 的 管辖 。 但 是 随 着 云 计算 平台 的 上 线 和 业务 系统 的 逐渐 迁 
移 ， 这 些 服 务 器 也 将 逐渐 地 被 并 人 云 计算 平台 的 资源 池 中 。 

针对 开发 测试 的 需要 和 邮 储 银行 实际 情况 ， 我 们 按照 用 途 将 云 计 算 资 源 池 划 分 为 云 
主机 和 云 存 储 区 资源 池 、 云 管理 和 服务 区 资源 池 ， 以 便 云 计算 平台 项 目 实施 过 程 以 及 平 
台 上 线 以 后 运 维 过 程 中 使 用 。 

在 云 计算 平台 搭建 完毕 以 后 ， 服 务 器 资源 池 可 以 如 图 11-3 所 示 。 

虚拟 化 管理 平台 体系 将 云 计算 资源 池 
的 物理 服务 器 资源 以 树 形 结构 进行 组 织 管 








Ee i es 云 管理 和 
理 ， 云 资源 中 的 被 管理 对 象 之 间 的 关系 如 | 机 和 区 
图 11-4 所 示 。 

2. 主机 池 设 计 计算 资源 池 


完成 在 云 计算 软件 体系 架构 中 ， 主 机 
池 是 一 系列 主机 和 集群 的 集合 体 ， 主 机 可 
纳入 群集 中 ， 也 可 单独 存在 。 没 有 加 入 集群 的 主机 全 部 在 主机 池 中 进行 管理 。 

3. 集群 设计 

集群 目的 是 使 用 户 可 以 像 管 
理 单个 实体 一 样 轻松 地 管理 多 个 
主机 和 云 主机 ， 从 而 降低 管理 的 
复杂 程度 ， 同 时 ， 通 过 定时 对 集 
群 内 的 主机 和 云 主机 状态 进行 监 
测 ， 如 果 一 台 服 务 器 主机 出 现 故 
障 ， 运 行 于 这 台 主 机 上 的 所 有 云 
主机 都 可 以 在 集群 中 的 其 他 主机 
上 重新 启动 ， 保 证 了 业务 的 连续 性 。 

4. 云 主机 设计 

每 台 云 主机 都 是 一 个 完整 的 系统 ， 它 具有 CPU、 内 存 、 网 络 设备 、 存 储 设备 和 BI- 
0S， 因 此 操作 系统 和 应 用 程序 在 云 主 机 中 的 运行 方式 与 它们 在 物理 服务 器 上 的 运行 方 
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图 11-3 云 计算 资源 池 
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式 没有 任何 区 别 。 与 物理 服务 器 相 比 ， 云 主机 具有 如 下 优势 : 

1) 在 标准 的 X86 物理 服务 器 上 运行 。 

2) 可 访问 物理 服务 器 的 所 有 资源 (如 CPU 、 内 存 、 磁 盘 、 网 络 设备 和 外 围 设 备 ) ， 
任何 应 用 程序 都 可 以 在 云 主机 中 运行 。 

3) 在 默认 情况 下 ， 云 主机 之 间 完 全 隔离 ， 可 以 实现 安全 的 数据 处 理 、 网 络 连 接 和 
数据 存储 。 

4) 可 与 其 他 云 主机 共存 于 同一 台 物 理 服务 器 ， 从 而 达到 充分 利用 硬件 资源 的 
目的 。 

5) 云 主机 镜像 文件 与 应 用 程序 都 可 以 封装 于 文件 之 中 ， 通 过 简单 的 文件 复制 便 可 
实现 云 主机 的 部 署 、 备 份 以 及 还 原 。 

6) 具有 可 移动 的 灵巧 特点 ， 可 以 便捷 地 将 整个 云 主机 系统 (包括 虚拟 人 硬件、 操作 
系统 和 配置 好 的 应 用 程序 ) 在 不 同 的 物理 服务 器 之 间 进 行 迁移 ， 甚 至 还 可 以 在 云 主 机 
正在 运行 的 情况 下 进行 迁移 。 

7) 可 将 分 布 式 资源 管理 与 高 可 用 性 结合 到 一 起 ， 从 而 为 应 用 程序 提供 比 静 态 物理 
基础 架构 更 高 的 服务 优先 级 别 。 

8) 可 作为 即 插 即 用 的 虚拟 工具 (包含 整套 虚拟 硬件 、 操 作 系统 和 配置 好 的 应 用 程 
序 ) 进行 构建 和 分 发 ， 从 而 实现 快速 部 署 。 

在 计算 资源 池 中 ， 一 般 物 理 服务 器 与 云 主机 的 整合 比 平 均 不 超过 1:8 、 单 台 物 理 服 
务 器 上 所 有 云 主 机 处 理 器 内 核 数 之 和 不 超过 物理 机 总 内 核 的 1.5 倍 、 单 台 物 理 服 务 器 上 
所 有 云 主 机 内 存 之 和 不 超过 物理 内 存 的 120% 。 

5. 云 主 机 模板 设计 

云 主机 模板 包括 云 主机 的 处 理 器 、 内 存 等 参数 ， 主 机 应 根据 主要 应 用 系统 负载 量 的 
不 同 提供 不 同 的 规格 。 

在 采用 云 计算 来 向 开发 测试 人 员 交 付 服务 时 ， 用 户 通 过 云 门户 自助 申请 的 开 服务 
资源 就 是 业务 应 用 模板 ， 因 此 需要 提前 设计 好 相应 的 开 服务 模板 向 云 门户 发 布 ， 当 用 
户 申请 该 服务 时 ， 云 平台 根据 模板 进行 资源 编排 ， 快 速生 成 云 主机 相关 资源 并 交付 给 开 
发 测试 人 员 使 用 。 

6. 高 可 用 性 设计 

1) 云 主机 之 间 的 隔离 : 每 个 云 主机 之 间 可 以 做 到 隔离 保护 ， 其 中 一 个 云 主 机 发 生 
故障 不 会 影响 同一 个 物理 机 上 的 其 他 云 主机 。 

2) 物理 机 发 生 故 障 不 会 影响 应 用 : 故障 物理 机 上 运行 的 云 主 机 可 被 自动 迁移 接 
管 ， 即 云 主机 可 以 在 同一 集群 内 的 多 台 服 务 器 之 间 进 行 迁移 ， 从 而 实现 多 台 物 理 服 务 器 
之 间 的 相互 热 备 ， 实 现 当 其 中 一 个 物理 服务 器 发 生 故 障 时 ， 自 动 将 其 上 面 的 云 主 机 切换 
到 其 他 的 服务 器 ， 应 用 在 物理 机 宕 机 情况 下 保证 零售 机。 

11.4.2.4 存储 资源 池 构 建 

在 开发 测试 云 计算 管理 平台 的 建设 中 ， 存 储 资源 池 设 计 主 要 采用 以 虚拟 化 分 布 式 存 
储 为 主要 存储 资源 ， 以 传统 SAN 存储 为 补充 的 混合 资源 池 。 
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1. 虚拟 化 分 布 式 存储 

虚拟 化 分 布 式 存储 技术 ， 融 合 了 计算 虚拟 化 和 存储 虚拟 化 ， 将 计算 和 存储 聚合 到 一 
个 硬件 平台 ， 形 成 可 横向 扩展 (Scale-out) 的 云 计算 基础 架构 。 在 开发 测试 业务 应 用 区 
部 署 虚拟 化 存储 方案 ， 运 行 在 这 种 架构 上 的 云 主机 不 仅 能 够 像 传 统 层次 架构 那样 支持 
vMotion、 动 态 资 源 调度 、 快 照 等 ， 而 且 数 据 不 再 经 过 一 个 复杂 的 网 络 传递 ， 其 性 能 就 
会 得 到 显著 提高 。 由 于 不 再 需要 集中 共享 存储 设备 ， 整 个 云 平台 基础 架构 得 以 扁平 化 ， 
大 大 简化 了 开 运 维和 管理 。 利 用 虚拟 化 分 布 存 储 技术 方案 构建 云 平 台 存储 资源 池 ， 有 
效 利用 服务 器 资源 ， 降 低能 源 消耗 。 

虚拟 化 分 布 式 存储 解决 方案 的 逻辑 架构 如 图 11-5 所 示 。 这 种 架构 的 基本 单元 是 部 署 
了 虚拟 化 系统 的 X86 标准 服务 器 。 在 提供 虚拟 计算 资源 的 同时 ， 服 务 器 上 的 空闲 磁盘 空间 
被 组 织 起 来 形成 一 个 统一 的 虚拟 共享 存储 : 虚拟 存储 系统 。 虚 拟 化 存储 在 功能 上 与 独立 共 
享 存储 完全 一 致 ， 同时 由 于 存储 与 计算 完全 融合 在 一 个 硬件 平台 上 ， 无 需 像 以 往 那样 购买 
连接 计算 服务 器 和 存储 设备 的 专用 SAN 网 络 设 备 (FC SAN 或 者 iSCSI SAN ) 。 
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机 | 机 机 || 机 机 | | 机 机 | | 机 机 | | 机 


图 11-5 虚拟 化 分 布 式 存储 解决 方案 的 逻辑 架构 


虚拟 化 分 布 存储 方案 技术 实现 方案 如 下 ; 

(1) 分 布 式 LUN (Logic Unit Number， 逻 辑 单元 号 ) 设计 在 虚拟 化 存储 架构 中 ， 
每 台 服 务 器 同时 也 是 一 个 存储 节点 。 除 了 安装 平台 软件 的 系统 盘 外 ， 每 个 节点 上 的 其 他 
所 有 磁盘 空间 (包括 系统 盘 的 剩余 分 区 ) 都 能 被 用 于 虚拟 化 存储 。 虚 拟 化 存储 会 使 整 
个 LUN 尽量 均匀 分 布 在 所 管理 的 全 部 节点 和 物理 磁盘 上 ， 这 样 的 设计 使 得 对 LUN 的 1 
0 操作 能 利用 整个 系统 中 全 部 节点 和 磁盘 的 性 能 。 当 管理 员 创建 一 个 LUN 时 ， 虚 拟 化 
存储 并 不 会 马上 为 该 LUN 分 配 实际 的 物理 存储 空间 ， 而 是 采用 精简 模式 ， 在 有 数据 写 
入 的 时 候 才 分 配 存储 空间 。 精 简 模式 使 用 户 在 存储 空间 有 限时 ， 能 按 未 来 的 业务 发 展 需 
要 提前 规划 LUN 的 容量 。 

(2) 高 可 用 性 设计 用 户 可 以 根据 业务 需要 为 数据 设置 副本 数量 。 虚 拟 化 存储 支 
持 用 户 为 每 个 LUN 设置 2 ~5 个 副本 ,并 且 使 得 不 同 的 副本 分 布 在 不 同 的 服务 器 和 物理 
磁盘 上 ， 从 而 提供 最 大 的 容错 性 。 当 一 个 服务 器 出 现 故 障 ， 其 至 多 台 服 务 器 出 现 故障 
时 ， 虚 拟 化 存储 仍 能 正常 工作 ， 而 且 数 据 不 丢失 。 
260 











中 国 邮政 储蓄 银行 开发 测试 云 建 设 | 第 11 章 | 


(3) 高 性 能 设计 虚拟 化 存储 采用 分 布 式 系统 设计 ， 其 存储 容量 和 性 能 随 着 服务 
器 节点 的 增加 而 线性 增加 。 由 于 每 个 LUN 都 横 跨 全 部 节点 服务 器 和 物理 磁盘 ， 所 以 每 
个 LUN 都 可 以 利用 全 部 服务 器 和 物理 磁盘 的 性 能 ， 从 而 提供 比 传统 存储 更 高 的 性 能 。 
如 图 11-6 所 示 ， 显 示 虚 拟 化 存储 的 IODPS， 和 吞吐 能 力 随 节点 服务 器 数量 的 增加 而 呈现 
线性 增加 的 状态 。 
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图 11-6 IOPS 随 着 节点 的 增加 线性 增加 





此 外 ， 不 同 于 传统 RAID (Redundart Arrays of Independent Disks， 独 立 匈 余 磁盘 阵 
列 ) 以 专用 空闲 磁盘 作为 热 备 ， 虚 拟 化 存储 由 系统 自动 提供 热 备 空间 ， 并 且 将 热 备 空 
间 均 匀 分 布 在 全 部 物理 磁盘 上 。 当 数据 重 构 启 动 后 ， 全 部 节点 服务 需 及 物理 磁盘 都 可 以 
参与 重 构 ， 从 而 实现 最 佳 的 重 构 效 率 。 

可 以 在 每 个 服务 器 节点 上 配置 RAID 卡 缓存 来 增强 IO 性能， 根据 存储 容量 的 不 同 
可 以 配置 容量 不 等 的 RAID 卡 缓存 。 在 追求 更 高 性 能 时 ， 还 可 以 在 每 台 服 务 锅 上 配置 
SSD (Solid State Disk， 固态 人 硬盘 ) 作为 热点 数据 高 速 缓 存 。 

(4) 自动 化 管理 设计 ”虚拟 化 存储 采用 无 中 心 架 构 ， 每 个 节点 服务 器 的 角色 完全 
一 样 ， 这 样 用 户 无 需 像 传统 分 布 式 存储 系统 那样 管理 元 数据 服务 器 。 而 且 整 个 虚拟 存储 
系统 的 元 数据 采用 分 布 式 设 计 ， 由 系统 自动 管理 ， 无 需 人 工 干预 。 

当 系 统 扩容 时 〈 比 如 增加 物理 磁盘 或 者 增加 服务 器 节点 ) ， 用 户 只 需 几 条 简单 命令 
(通过 命令 行 或 者 图 形 化 管理 界面 ) 将 物理 部 件 加 入 集群 ， 系 统 上 原 有 的 数据 将 自动 重 
新 均衡 ， 原 有 LUN 将 自动 扩展 到 新 的 物理 设备 上 。 

虚拟 化 存储 具备 强大 的 自 愈 能 力 ， 一 般 硬 件 故障 无 需 人 工 干预 。 物 理 磁 盘 或 者 服务 
器 节点 故障 后 ， 系 统 可 在 数秒 内 自 愈 ， 自 动 恢复 业务 。 

(5) 按 需 扩展 ”虚拟 化 存储 是 一 种 可 横向 扩展 (Scale-out) 的 分 布 式 架构 ， 当 云 
平台 需要 更 多 计算 和 存储 资源 时 ， 只 需 以 服务 器 为 单位 进行 扩容 ， 即 能 实现 计算 与 存储 
资源 的 同步 扩展 ， 而 无 需 像 传统 存储 阵列 那样 ， 哪 怕 是 扩容 一 个 硬盘 ， 也 需要 再 购买 整 
套 存储 设备 。 采 用 每 次 增加 一 台 节 点 服务 器 的 扩容 方案 ， 虚 拟 化 存储 存储 容量 可 从 几 太 
字 节 逐步 扩展 到 几 千 太 字 节 。 新 加 入 的 节点 服务 器 将 在 业务 不 中 断 的 情况 下 ， 自 动 纳入 
统一 资源 池 ， 极 大 缩短 了 扩容 部 署 时 间 。 

(6) 管理 简便 ”虚拟 化 存储 系统 采用 无 中 心 分 布 式 架构 ， 无 需 人 为 设置 管理 节点 ， 
从 而 避免 了 传统 集群 存储 系统 复杂 的 元 数据 服务 咒 管 理 。 系 统 具备 强大 的 自 愈 能 力 ， 一 
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般 硬件 故障 无 需 人 工 干 预 。 一 个 节点 故障 后 ， 系 统 能 自动 自 愈 ， 用 户 只 需 选 择 合适 的 时 
间 窗 口 更 换 故 障 件 即 可 使 整个 系统 恢复 到 原样 。 当 增加 一 个 服务 器 节点 时 ， 无 需 中 断 业 
务 ， 该 节点 的 存储 空间 将 自动 纳入 整个 系统 ， 系 统 中 已 有 的 数据 将 自动 重新 均衡 分 布 。 
这 一 切 都 无 需 人 工 干预 。 

由 于 整个 系统 具备 强大 的 自我 管理 能 力 ， 用 户 在 使 用 虚拟 化 存储 提供 的 存储 资源 
时 ， 只 需 简单 地 创建 、 删 除 存 储 资 源 ， 查 看 存储 资源 使 用 情况 ， 以 及 通过 日 志 了 解 系统 
运行 状况 ， 管 理 十 分 方便 。 

2. 传统 SAN 存储 

在 数据 库 等 要 求 高 性 能 或 者 稳定 性 需求 比较 高 的 业务 系统 ， 暂 时 仍旧 采用 传统 
SAN 存储 设计 ， 以 保证 业务 的 稳定 性 和 数据 的 可 靠 性 ， 同 时 要 求 传统 SAN 存储 硬件 具 
备 虚拟 化 或 者 支持 第 三 方 云 平台 管理 的 特性 ， 方 便 通过 云 管理 软件 进行 统一 管理 ， 以 便 
形成 虚拟 化 分 布 式 存 储 资源 池 与 SAN 存储 池 整 体 统一 管理 ; 并 且 通 过 与 虚拟 化 分 布 式 
存储 进行 比较 ， 通 过 IOPS 管理 和 部 署 难 易 程度 ， 稳 定 和 可 靠 程度 ， 在 开发 测试 云 环境 
中 进行 充分 测试 ， 为 未 来 在 生产 环境 的 应 用 提供 实践 和 参考 。 

11.4.2.5 网 络 资源 池 构 建 

服务 器 虚拟 化 技术 的 出 现 使 得 计算 服务 提供 不 再 以 主机 为 基础 ， 而 是 以 云 主 机 为 单 
位 来 提供 ， 同 时 为 了 满足 同一 物理 服务 器 内 云 主机 之 间 的 数据 交换 需求 ， 服 务 器 内 部 引 
入 了 网 络 功 能 部 件 虚拟 交换 机 vSwitch (Virtual Switch) ， 如 图 11-7 所 示 ， 虚 拟 交换 机 提 
供 了 云 主机 之 间 、 云 主机 与 外 部 网 络 之 间 的 通信 能力。IEEE 的 802. 1 标准 中 ,“ 虚 拟 交 
换 机 ” 即 为 “Virtual Ethernet Bridge，VEB” 人 简称 VEB, 或 “vSwitch”。 




















物理 服务 器 


邻接 交换 机 








图 11-7 云 主机 交换 网 络 架 构 


vSwitch 的 引入 ， 给 云 平台 基础 网 络 的 运行 带 来 了 以 下 两 大 问题 . 

1. 云 主机 的 不 可 感知 性 

物理 服务 器 与 网 络 的 连接 是 通过 链 路 状态 来 体现 的 ， 但 是 当 服务 器 被 虚拟 化 后 ， 一 
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个 主机 内 同时 运行 大 量 的 云 主机 ， 而 此 前 的 网 络 面 对 这 些 云 主 机 的 创建 与 迁移 、 故 障 与 
恢复 等 运行 状态 完全 不 感知 ， 同 时 对 云 主 机 也 无 法 进行 实时 网 络 定位 ， 当 云 主机 迁移 时 
网 络 配置 也 无 法 进行 实时 的 跟随 ， 虽 然 有 些 数据 镜像 、 分 析 和 侦 测 技术 可 以 局 部 感知 云 
主机 的 变化 ， 但 总 体 而 言 目前 的 云 主机 交换 网 络 架构 无 法 满足 虚拟 化 技术 对 网 络 服务 提 
出 的 要 求 。 

为 了 解决 上 述 问 题 ， 邮 储 银 行 的 解 是 
决 思路 是 将 云 主机 的 所 有 流量 都 引 至 外 
部 列 中 交换 机 ， 目 前 将 所 有 的 流量 均 经 | 
过 物理 交换 机 ， 因 此 与 云 主机 相关 的 流 
量 监控 、 访 问 控制 策略 和 网 络 配置 迁移 
问题 均 能 在 物理 交换 机 上 得 到 很 好 的 解 
决 。 该 方案 的 核心 思想 是 : 将 云 主机 产 | 
生 的 网 络 流量 全 部 交 给 与 服务 器 相连 的 。 物理 服 和 
物理 交换 机 进行 处 理 ， 即 使 同一 台 物 理 种 5 ， 


— 
































服务 器 云 主机 间 的 流量 也 将 发 往外 部 物 人 
理 交 换 机 进行 查 表 处 理 ， 之 后 再 180° 调 | 
头 返回 到 物理 服务 器 ， 形 成 了 所 谓 的 图 11-8 网络 传输 基本 架构 


“发 卡 灾 ”转发 模式 ， 如 图 11-8 所 示 。 

云 主机 与 网 络 之 间 的 关联 标准 协议 ， 使 得 云 主机 在 变更 与 迁移 时 通告 网 络 及 网 管 系 
统 ， 从 而 可 以 借助 此 标准 实现 数据 中 心 全 网 范围 的 网 络 配置 变更 自动 化 工作 ， 使 得 大 规 
模 的 云 主 机 云 计算 服务 运营 部 署 自动 化 能 够 实现 。 

将 支持 相关 标准 协议 的 vSwitech 移入 虚拟 化 软件 ， 是 为 云 平 台 基础 架构 提供 最 优化 
的 虚拟 化 管理 技术 方案 ， 该 产品 通过 将 云 平台 开 资源 的 整合 ， 不 仅 能 够 达到 提高 服务 
器 利用 率 和 降低 整体 拥有 成 本 的 目的 ， 而 且 能 简化 劳动 密集 型 和 资源 密集 型 IT 操作 ， 
显著 提高 系统 管理 员 的 工作 效率 。 

2. 多 租户 的 隔离 

由 于 云 主 机 及 服务 器 数量 的 增多 ， 网 络 技术 方案 需要 保证 多 个 租户 使 用 的 资源 能 
有 效 地 隔离 ， 通 过 Overlay (一 种 封装 在 IP 报 文 上 的 新 的 数据 格式 ) 虚拟 化 方式 用 来 支 
撑 云 与 虚拟 化 的 建设 要 求 ， 并 实现 更 大 规模 的 多 租户 能 

Overlay 的 本 质 是 L2 Over IP 的 隧道 技术 ， 相 应 的 技术 方案 称 为 (Virsual extensible 
LAN， 虚 拟 可 扩展 局 域 网 ) ， 目 前 在 服务 器 的 vSwitch、 物 理 网 络 上 技术 框架 已 经 就 绪 。 
VXLAN 网 络 架 构 有 多 种 实现 ， 就 纯 大 二 层 的 实现 可 分 为 主机 实现 方式 和 网 络 实现 方式 ; 
而 在 最 终 实现 VXLAN 与 网 络 外 部 数据 连通 的 连接 方式 上 ， 则 有 多 种 实现 模式 ， 并 且 对 
于 关键 网 络 部 件 将 有 不 同 的 技术 要 求 ， 包 括 基于 主机 的 VXLAN 虚拟 化 网 络 和 基于 物理 
网 络 的 VXLAN 虚拟 化 两 种 大 的 实现 方式 。 在 已 经 进行 虚拟 化 的 环境 下 ， 这 里 将 采用 基 
于 主机 的 VXLAN 虚拟 化 网 络 方案 ， 如 图 11-9 所 示 。 

VXLAN 运行 在 UDP 上 ， 物理 网 络 只 要 支持 IP 转发 ， 则 所 有 IP 可 达 的 主机 即 可 构 
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图 11-9 基于 主机 的 Overlay 虚拟 化 网 络 








建 一 个 大 范围 二 层 网 络 。 这 种 vSwitch 的 实现 ， 屏蔽 了 物理 网 络 的 模型 与 拓扑 差异 ， 将 
物理 网 络 的 技术 实现 与 计算 虚拟 化 的 关键 要 求 分 离 ， 几 乎 可 以 支持 以 太 网 在 任意 网 络 上 
的 透 传 ， 使 得 云 的 计算 资源 调度 范围 空前 扩大 。 

另外 由 于 VXLAN 把 12 bit 的 VLAN 标签 扩展 成 了 24 bit， 这 样 能 实现 远 远 高 于 传 
统 VLAN 4096 的 数量 ， 解 决 了 VLAN 数量 不 足 的 问题 ， 满 足 更 多 的 租户 隔离 需要 。 

为 了 使 得 VXLAN Overlay 网 络 更 加 简化 运行 管理 ， 便 于 云 的 服务 提供 ， 通 过 使 用 集中 控 
制 的 模型 ， 将 分 散在 多 个 物理 服务 器 上 的 vSwitch 构成 一 个 大 型 的 、 虚 拟 化 的 分 布 式 Overlay 
vSwitch (如 图 11- 10 所 示 ) ， 只 要 在 分 布 式 vSwitch 范围 内 ， 虚 拟 机 在 不 同 物理 服务 器 上 的 迁 
移 ， 便 被 视 为 在 一 个 虚拟 的 设备 上 迁移 ， 如 此 大 大 降低 了 云 中 资源 的 调度 难度 和 复杂 度 。 

















VM VM VM VM VM VM VM VM VM VM VM VM 


Overlay distributed vSwitch 


到 11-10 分布 式 Overlay vSwitch 

对 于 计算 资源 丰富 的 数据 中 心 ，Overlay 网 络 使 得 虚拟 机 不 再 为 物理 网 络 所 限制 。 

11.4.2.6 虚拟 化 管理 平台 

1. 虚拟 化 管理 系统 

虚拟 化 管理 系统 是 虚拟 化 平台 的 核心 组 件 之 一 ， 主 要 实现 对 数据 中 心 内 的 计算 、 网 
络 和 存储 等 资源 池 的 管理 和 控制 ， 对 上 层 应 用 提供 自动 化 服务 。 

管理 平台 可 以 集中 管理 数 千 台 物理 服务 器 和 数 万 台 云 主机 ， 通 过 一 个 统一 的 管理 平 
台 来 对 所 有 相关 任务 进行 集中 管理 ， 管 理 员 仅 需 要 键盘 和 鼠标 便 可 实现 云 主机 的 部 署 、 
配置 和 远程 访问 。 

虚拟 化 管理 系统 可 以 实现 以 下 功能 : 基于 集群 的 集中 管理 、 共 享 存储 管理 、 虚 拟 交 
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换 机 管理 、 资 源 使 用 状况 监控 。 

(1) 基于 和 集群 的 集中 管理 ”虚拟 化 管理 系统 将 服务 器 主机 和 云 主机 都 组 织 到 集群 
中 ， 单 个 集群 支持 5000 台 以 上 的 物理 机 ，1PB 以 上 的 分 布 式 共享 文件 系统 存储 ， 另 外 
单个 集群 支持 的 并 行 任务 调度 数量 不 低 于 十 万 级 。 集 中 管理 提供 了 清晰 的 分 层 结构 视 
图 ， 直 观 地 展示 了 数据 中 心 、 主 机 池 、 集 群 、 主 机 和 云 主机 之 间 的 关系 ,大 大 简化 了 资 
源 管理 的 工作 量 。 

基于 集群 进行 集中 管理 的 好 处 在 于 : 利用 集中 化 管理 功能 ， 管 理 员 能 够 通过 统一 的 
界面 对 整个 开 环境 进行 组 织 、 部 署 、 监 控 和 配置 ， 从 而 降低 管理 成 本 。 

由 多 台独 立 服务 器 主机 聚合 形成 的 一 个 具有 共享 资源 池 的 集群 不 仅 降低 了 管理 的 复 

杂 度 ， 而 且 具 有 内 在 的 高 可 用 性 ， 通 过 监控 集群 下 所 有 主机 ， 一 旦 某 台 主机 发 生 故 障 ， 
虚拟 化 管理 系统 就 会 立即 响应 并 在 集群 内 男 一 台 主 机 上 重启 受 影响 的 云 主机 ， 男 外 支持 
集群 的 在 线 扩容 ， 从 而 为 用 户 提供 一 个 经 济 有 效 的 高 可 用 性 解决 方案 。 
(2) 共享 存储 管理 ”虚拟 化 管理 系统 中 的 虚拟 机 文件 系统 是 一 种 优化 后 的 高 性 能 
集群 文件 系统 ， 允 许多 个 计算 节点 同时 访问 同一 虚拟 机 存储 。 由 于 虚拟 架构 系统 中 的 虚 
拟 机 实际 上 是 被 封装 成 了 一 个 档案 文件 和 若干 相关 环境 配置 文件 ， 通 过 将 这 些 文件 放 在 
SAN 存储 阵列 上 的 文件 系统 中 ， 可 以 让 不 同 服务 器 上 的 虚拟 机 都 可 以 访问 到 该 文件 ， 
从 而 消除 了 单 点 故障 。 

(3) 虚拟 交换 机 管理 ”虚拟 交换 机 是 用 软件 实现 的 PP 报 文 转发 与 控制 模块 。 在 物 
理 环境 中 ， 物 理 服 务 器 通过 物理 交换 机 连接 到 网 络 ， 在 云 平 台中 ， 云 主机 通过 虚拟 交换 
机 连接 到 网 络 。 为 了 让 维护 人 员 直 观 易 懂 ， 在 虚拟 化 管理 系统 里 会 对 虚拟 交换 机 有 一 个 
直观 易 懂 的 管理 界面 。 

虚拟 交换 机 在 设计 时 将 整个 虚拟 交换 机 以 物理 交换 机 的 面板 呈现 ， 并 通过 绿色 的 、 
闪烁 的 端口 表示 云 主 机 连接 虚拟 交换 机 的 网 卡 ， 每 一 个 闪烁 的 绿色 端口 都 表示 一 个 活动 
的 虚拟 端口 ， 可 以 显示 端口 名 称 、 连 接 端口 的 云 主机 名 称 、 云 主机 网 卡 对 应 的 MAC 地 
址 等 。 

(4) 资源 使 用 状况 监控 

1) 物理 服务 器 性 能 状态 监测 ， 如 图 11-11 所 示 。 提 供 物理 服务 器 CPU 和 内 存 等 计 
算 资源 的 图 形 化 报表 及 运行 于 其 上 的 云 主 机 利用 率 前 5 名 的 报表 ， 为 管理 员 实施 合理 的 
资源 规划 提供 详尽 的 数据 资料 。 

2) 云 主机 性 能 状态 监测 ， 如 图 11-12 所 示 。 提 供 云 主机 CPU、 内存、 磁盘 IO、 
网 络 VO 等 关键 资源 进行 全 面 的 性 能 监测 。 

3) 虚拟 交换 机 状态 监测 。 提 供 虚 拟 交 换 机 上 各 个 虚拟 端口 的 流量 统计 与 模拟 面板 
图 形 化 显示 。 

2. 自动 化 、 多 异 构 资 源 、 多 服务 模板 管理 

云 平台 采用 服务 管理 流程 化 、 自 动 化 的 方式 集中 管理 ,减少 人 为 参与 ， 为 平台 的 规 
模 化 扩展 提供 条 件 。 当 业务 需求 发 生变 化 时 ， 云 平台 可 以 通过 弹性 伸缩 机 制 和 自动 化 来 
快速 响应 ， 以 适应 业务 的 变化 。 
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在 长 期 的 信息 化 建设 中 ， 用 户 积 累 了 很 多 不 同 技术 路 线 、 
网 络 设备 ， 会 部 署 各 种 各 样 的 应 用 ， 可 能 已 部 署 VM- 
CitrixXenServer 等 多 种 虚拟 化 环境 。 数 据 中 心 内 积累 了 大 量 的 软 硬 件 资源 
些 资 源 迁 移 到 云 环境 中 ， 如 何 继续 


件 产品 


warevSphere、 


如 何 将 这 
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服务 器 、 存 储 、 


图 11-12 云 主 机 性 能 状态 监测 


利用 旧 有 设备 ， 如 何 统一 


不 同 架构 、 不 同 品牌 的 硬 


管理 数据 中 心 内 种 
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类 繁多 的 硬件 资源 、 异 构 的 虚拟 化 系统 和 不 同 的 业务 应 用 ， 是 每 个 客户 在 实施 云 计 算 过 
程 中 难以 回避 的 难题 。 只 有 开放 融合 的 云 计 算 方 案 ， 才 能 更 好 地 整合 和 管理 数据 中 心 各 
类 异 构 资源 。 

云 计算 数据 中 心 提 供 的 资源 使 用 方式 通过 服务 进行 表达 。 服 务 模 板 是 一 些 资 源 和 资 
源 集合 的 组 合 ， 用 户 可 以 根据 自己 的 需求 对 这 些 服 务 模 板 进行 配置 订购 。 这 些 服务 在 经 
过 用 户 订 购 以 后 将 会 生成 和 真实 资源 或 资源 集合 一 一 对 应 的 服务 实例 。 所 有 的 云 计算 中 
的 资源 包括 网 络 、 存 储 、 计 算 能 力 以 及 应 用 服务 ， 都 需要 以 服务 的 形式 向 用 户 提供 。 任 
何 云 计 算 资 源 都 可 以 按 单个 或 多 个 有 机 整合 的 方式 发 布 为 云 服 务 。 系 统 提 供 服务 目录 管 
理 功能 。 对 服务 的 创建 和 发 布 、 变 更 、 激 活 、 挂 起 、 撤 销 进行 全 生命 周期 管理 。 一 旦 用 
户 申请 了 服务 ， 系 统 提供 对 服务 实例 的 全 生命 周期 的 进行 管理 ， 如 服务 申请 、 操 作 、 变 
更 、 终 止 等 功能 。 

3. 应 用 部 署 

在 完成 云 计 算 平 台 的 建设 后 ， 应 考虑 建立 应 用 模板 ， 将 业务 应 用 逐步 部 署 到 云 计 算 


平台 上 。 云 计算 现状 如 图 11-13 所 示 。 
迪 

























虚拟 化 : Multi-LOB 
服务 器 虚拟 化 、 存 储 虚 拟 化 、 复杂 多 应 用 环境 
网 络 虚拟 化 等。 
= 自动 化 
2 | 多 种 异 构 资源 管理 
”| 多 服务 模板 管理 
云 计算 的 五 个 特点 : 
一 现状 问题 :为 云 而 云 .关注 于 虚拟 化 建设 ， 日 按 需 自动 服务 
没有 清晰 的 自动 化 部 署 路 线 图 ,虚拟 化 芝 
延 VM Sprawl, 造成 更 多 的 运 维 开销 日 多 种 网 络 访问 
日 快速 弹性 扩展 
昌 资源 池 化 
日 服务 可 计量 





图 11-13 云 计算 现状 


11.5 开发 测试 云 部 署 方案 


11.5.1 概述 


建立 开发 测试 云 ， 部 署 有 两 个 主要 组 成 部 分 。 
1) 用 于 性 能 测试 的 硬件 架构 。 
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2) 用 于 开发 和 非 性 能 测试 的 虚拟 机 环境 。 

常备 开发 测试 环境 是 建立 在 虚拟 机 环境 下 ， 充 分 利用 主机 虚拟 化 的 能 力 ， 满 足 开发 
测试 的 需求 。 当 有 需要 时 ， 临 时 部 署 一 些 虚拟 机 测试 环境 以 满足 随机 的 需求 ， 这 样 的 工 
作 通 过 临时 测试 环境 来 随 需 准备 和 管理 。 对 于 系统 集成 测试 、 压 力 测试 等 对 性 能 要 求 较 
高 ， 并 且 要 求 尽 量 符合 生产 环境 的 测试 ， 通 过 性 能 测试 环境 的 方式 ， 实 现 先 在 虚拟 环境 
下 完成 整个 测试 环境 的 准备 工作 ， 包 括 系 统 、 应 用 、 网 络 、 负 载 发 生 需 的 联 调 。 然 后 部 
署 到 实际 的 性 能 测试 环境 中 ， 并 通过 合理 的 安排 达到 充分 利用 性 能 测试 的 硬件 环境 ， 建 
设 测试 中 的 意外 情况 发 生 ， 并 协调 自动 化 工具 实现 自动 部 署 的 实现 。 


11.5.2 云 平 台 总 体 部 署 架构 


通常 情况 下 ， 基 于 银行 多 数据 中 心机 器 的 分 布 情况 ， 考 虑 到 节省 宽带 和 方便 管理 ， 
应 该 在 某 个 数据 中 心 部 署 统一 管理 整个 开发 测试 系统 的 云 管理 平台 ， 开 发 测试 云 平台 管 
理 员 可 以 通过 统一 的 门户 管理 银行 整个 开发 测试 环境 ， 包 括 项 目 开 发 测试 环境 的 自动 部 
署 、 系 统 资源 监控 以 及 系统 资源 的 动态 调度 。 按 照 开发 测试 系统 的 目前 物理 位 置 ， 构 建 
几 个 资源 池 ， 不 同 的 数据 中 心 分 别 部 署 各 自 的 镜像 库 和 中 间 件 安装 介质 库 。 

从 逻辑 角度 来 看 ， 系 统 架 构 描 述 的 是 开发 测试 系统 整个 的 设计 思路 ， 主 要 组 件 及 其 
相互 间 的 关系 ， 以 及 组 件 、 用 户 和 外 部 系统 之 间 的 关系 。 人 逻辑 架构 从 三 个 方面 描述 部 
署 : 首先 是 从 总 体 角度 阐述 架构 的 宏观 视图 ， 描 述 业 务 目 标 和 为 支持 开发 测试 云 平台 应 
具有 的 能 力 ， 并 定义 了 主要 的 系统 特征 和 系统 需求 ; 然后 从 功能 模式 、 部 署 模式 进一步 
描述 整体 架构 ， 从 系统 功能 组 件 和 运行 环境 上 给 出 宏观 设计 。 

开发 测试 云 平台 未 来 将 成 为 邮 储 银 行 开发 测试 环境 的 统一 运行 平台 ， 实 现 基础 设施 
资源 共享 ， 该 平台 的 主要 特点 如 下 : 

1) 应 用 最 新 虚拟 化 技术 形成 高 度 虚拟 化 资源 池 ， 优 化 物理 资源 和 简化 资源 管理 ， 
实现 资源 自动 化 快速 部 署 。 

2) 快速 自动 安装 、 配 置 银 行 开发 、 测 试 环境 需要 的 中 间 件 ,节省 人 力 ， 减少 人 为 
失误 。 

3) IT 资产 信息 管理 为 客户 提供 IT 资产 的 可 视 化 管理 。 随 时 掌握 IT 资产 和 运行 
情况 。 

4) 建立 面向 服务 的 IT 服务 提供 模式 ， 为 IT 基础 设施 的 用 户 提供 对 IT 基础 设施 环 
境 能 力 的 快速 理解 和 资源 使 用 需求 的 有 效 管理 。 

邮 储 银行 开发 测试 环境 的 服务 器 架构 通过 水 平方 式 对 服务 器 系统 进行 整合 ， 即 通 
过 资源 分 布 进行 整合 ， 通 过 多 个 物理 服务 带 或 服务 器 分 区 共享 应 用 负载 ， 从 而 合并 
多 个 节点 的 计算 资源 ， 这 样 可 以 使 系统 的 可 靠 性 、 可 扩展 性 、 多 功能 性 及 性 能 得 以 
提高 。 服 务 融 虚拟 化 主要 通过 服务 器 集群 计算 技术 、 服 务 器 分 区 技术 、 虚 拟 IOServer 
等 技术 实现 。 
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11. 5.3 资源 统一 管理 


在 云 管理 平台 中 ， 资 源 管理 模块 的 总 体 功能 架构 如 图 11-14 所 示 。 





提供 资源 管 资 源 a 提供 需 纸 计 “资源 统计 
信息 。 生命 周期 提供 资源 闪光 半生 的 资源 数据 “分析 结果 





资源 管理 














RE BE = B=s= ==> Eees=S=S 


图 11-14 资源 管理 模块 的 总 体 功能 架构 


服务 器 资源 管理 提供 了 对 服务 咒 、 小 型 机 等 物理 设备 的 基本 信息 记录 和 系统 管理 接 
口 的 封装 。 通 过 对 物理 服务 器 的 控制 接口 ， 可 以 对 物理 服务 器 进行 开关 机 、 重 启 、 加 
电 、 断 电 等 操作 。 云 管理 平台 提供 物理 主机 的 容量 信息 、 服 务 融 主机 实时 性 能 信息 和 服 
务 右 主机 历史 性 能 信息 查询 。 

1. 虚拟 机 资源 管理 

在 云 管理 平台 ， 服 务实 例 体现 为 虚拟 机 ， 支 持 多 种 虚拟 化 类 型 ， 同 时 ， 支 持 对 虚拟 
机 实例 的 自动 发 现 和 配置 管理 ， 并 和 监控 模块 配合 实现 对 实例 运行 的 即时 状态 的 监控 和 
历史 监控 状态 的 回顾 。 

虚拟 机 资源 管理 具备 如 下 功能 : 

1) 支持 虚拟 机 资源 的 创建 、 修 改 、 查 询 和 删除 。 

2) 支持 对 虚拟 机 的 生命 周期 管理 〈 虚 拟 机 的 创建 、 上 电 下 电 、 开 关机 、 资 源 变 
更 、 删 除 等 ) 。 

3) 支持 虚拟 机 实例 的 迁移 操作 〈 手 工 迁 移 ) 。 

4) 根据 虚拟 机 资源 使 用 情况 ， 虚 拟 机 的 自动 扩容 功能 。 

5) 支持 管理 员 查 看 物理 机 -虚拟 机 视图 ， 可 快速 浏览 虚拟 机 与 物理 机 的 承载 关系 。 

6) 支持 对 虚拟 机 运行 实例 的 状态 监控 (CPU 利用 率 、 内 存 使 用 率 、 磁 盘 空 间 、 网 
络 流量 ) 和 信息 查询 ， 并 可 查询 虚拟 机 历史 状态 。 

2. 镜像 资源 管理 
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镜像 资源 实质 上 应 该 是 一 种 软件 资源 ， 由 于 镜像 资源 生成 和 管理 的 特殊 性 ， 把 其 单 
独 作为 一 种 资源 ,方便 管理 、 规 划 与 统一 部 署 调度 。 

1) 支持 镜像 资源 的 创建 、 修 改 、 查 询 和 删除 。 

2) 支持 镜像 资源 的 拍照 功能 。 

3) 支持 对 镜像 资源 的 抓 取 功 能 。 

3. 服务 器 资源 池 管 理 

服务 器 资 源 池 统一 管理 云 平 台 的 所 有 服务 器 资源 ， 通 过 服务 器 资源 池 实 现 服务 器 资 
源 的 统一 规划 、 统 一 定位 、 统 一 分 配 、 提 供 服 务 器 资源 的 统一 对 外 接口 。 

平台 提供 对 服务 器 资源 池 的 监控 和 信息 收集 。 

4. 存储 资源 池 管 理 

将 多 个 存储 设备 的 资源 整合 在 一 起 并 抽象 化 ， 对 外 提供 整体 的 出 口 和 存储 空间 管 
理 ， 证 它 看 上 去 如 同一 个 资源 。 通 过 存储 资源 池 实 现存 储 资源 的 统一 规划 、 统 一 定位 、 
统一 分 配 ， 提 供 存储 机 资源 的 统一 对 外 接口 。 

5. 网 络 资源 池 管 理 

虚拟 机 的 IP 通 过 网 络 资源 池 管 理 的 IP 自动 分 配 得 来 。 系 统 提 供 卫 所 属 业 务 域 的 逻 
辑 管理 ， 不 同业 务 域 的 虚拟 机 IP 地 址 会 在 业务 域 中 的 IP 池 中 分 配 。 运 维 人 员 可 在 网 络 
资源 池 中 添加 、 删 除 、 修 改 IP 地 址 。 系 统 提供 VLAN 信息 的 管理 ， 包 括 VLAN 号 、 
VLAN IP 的 管理 。 























11.5.4 全面 监控 


云 管理 平台 中 ， 监 控 管 理 功能 域 主要 包含 监控 管理 和 告警 管理 两 部 分 。 

对 云 管理 平台 涉及 的 各 种 资源 ， 系 统 的 监控 数据 采集 层 模块 通过 SNMP (Simple 
Network Management Protocol ， 简 单 网 络 管理 协议 ) 协议 、 代 理 等 采集 方式 ， 对 资源 的 性 
6 指标 进行 主动 轮 询 收 集 ， 并 在 此 基础 上 提供 对 各 类 资源 的 故障 管理 、 负 和 载 管 理 等 功 
bE， 达到 实时 监控 资源 健康 状态 、 主 动 发 现 故 障 和 及 时 运 维 的 目的 。 

云 管理 平台 中 监控 管理 部 分 需要 与 运行 在 云 中 的 业务 系统 进行 集成 ， 最 大 化 利用 现 
有 系统 实现 对 核心 业务 域 系统 的 监控 ， 资 源 使 用 审批 等 功能 ， 并 提供 统一 的 管理 界面 对 
外 提供 服务 。 

监控 管理 模块 如 图 11-15 所 示 。 

全 面 监 控 是 整合 的 端 到 端的 监控 : 

1) 涉及 物理 设备 、 虚 拟 化 层 、 操 作 系 统 、 应 用 程序 、 业 务 流 程 数据 采集 五 个 


后 
上 
全 
月 














2) 分 为 容量 监控 、 性 能 监控 、 可 用 性 监控 。 

3) 由 分 层级 事件 和 告警 构成 指标 体系 。 

4) 实时 信息 和 历史 信息 结合 的 仪表 盘 展 现 。 

5) 智能 数据 关联 ， 容 量 和 性 能 趋势 分 析 ， 统 计 分 析 报表 。 
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图 11-15 监控 管理 模块 


6) 系统 消息 、 邮 件 和 短信 通知 体系 。 
7) 自动 化 处 理 流 程 ， 涵 盖 故 障 处 理 与 资源 调度 。 





11.5.5 应 用 软件 部 署 


扩展 平台 的 服务 能 力 ， 除 了 计算 、 存 储 和 网 络 资 源 之 外 ， 还 可 以 在 服务 目录 提供 
HTTP 服务 器 、 中 间 件 环境 和 数据 库 环境 的 集群 服务 以 及 应 用 拓扑 部 署 服务 。 支 持 的 中 
间 件 服务 器 包括 Tomcat 及 PHP 等 ， 支 持 的 数据 库 服务 包括 MySQL 、Oracle、 WAS+ 等 。 

通过 云 计算 平台 管理 软件 ， 实 现 所 有 服务 器 整合 为 一 个 统一 的 云 计算 服务 器 平台 ， 
抽象 出 统一 的 硬件 资源 ， 包 括 CPU 资源 池 、Memory 资源 池 、Network 资源 池 、Storage 
资源 池 ， 任意 云 都 可 以 按 需 在 统一 资源 池 中 获得 硬件 资源 并 运行 。 由 此 实现 了 统一 硬件 
资源 整合 ， 在 统一 的 硬件 平台 上 来 实现 云 的 分 配 、 运 行 和 维护 ， 为 云 计算 平台 实现 高 扩 
展 性 、 高 伸缩 性 提供 支撑 。 





11.5.6 资产 台 账 和 统一 报表 


1 面向 资源 管理 维度 
1) 云 平台 资源 统计 报表 :系统 的 展示 整个 云 平台 资源 情况 ， 在 现 有 基础 上 进行 完 
， 以 业务 系统 的 维度 进行 展示 ， 细 化 存储 资源 ， 以 存储 池 、 存 储 类 型 进行 区 分 展示 。 
2) 云 平台 资源 使 用 量 统计 报表 ， 展示 云 平台 资源 使 用 情况 ， 完 善 现 有 使 用 统计 报 
表 ， 按 业务 维度 区 分 ， 以 存储 类 型 及 存储 池 进 行 细 化 。 
3) 云 平台 性 能 统计 报表 : 完善 平台 性 能 统计 报表 ， 增 加 从 物理 机 层面 的 展示 以 及 
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物理 机 的 性 能 统计 。 

4) 云 平台 运行 状况 分 析 报 表 : 展示 平台 运行 状况 数据 ， 包 括 物理 机 、 虚 拟 机 的 
CPU， 内 存 、 存 储 、 网 络 资源 的 运行 状况 。 

5) 云 平台 运行 趋势 分 析 报表 : 根据 云 平台 运行 数据 展示 趋势 分 析 报 告 。 

6) 存储 池 使 用 报表 : 已 存储 池 的 角度 去 展示 每 个 存储 池 的 使 用 情况 ， 包 括 虚 拟 磁 
盘 的 使 用 情况 。 

2. 面向 用 户 或 业务 系统 维度 

ee 业务 系统 的 资源 使 用 量 统计 报表 : 按 不 同 的 业务 系统 ， 根 据 不 同 的 

， 不 同 的 数据 权限 展示 资源 的 使 用 量 。 

业务 系统 的 性 能 统计 报表 : 从 不 同 权 限 的 用 户 ， 不 同业 务 系统 的 角 
度 去 展示 业务 性 能 报表 。 

3) 提供 用 户 、 业 务 系统 的 运行 状况 分 析 报 表 : 对 所 关心 的 业务 系统 ， 主 机 的 运行 
状况 进行 展示 。 

4) 提供 用 户 、 业 务 系 统 的 运行 趋势 分 析 报 表 : 从 业务 系统 及 用 户 的 角度 去 展示 运 
行 数据 ， 得 出 趋势 分 析 报表 ， 以 图 形 化 的 方式 进行 展示 。 

5) 监控 考核 报表 : 展示 考核 报表 ， 对 业务 人 员 的 告警 处 理 情 况 进行 展示 。 

















11.6 开发 测试 云 给 银行 膏 来 的 价值 


邮 储 银行 采用 开发 测试 云 平台 后 ， 将 所 有 全 资源 进行 整合 ， 然 后 虚拟 化 为 一 个 资 
源 池 。 如 果 开发 测试 人 员 需 要 使 用 某 种 资源 那么 只 要 提交 资源 使 用 申请 表 即 可 ， 开 发 
测试 去 平台 会 自动 安装 部 团 所 有 需要 的 好 资源。 资源 使 用 完 毕 后 ， 开 发 测试 云 平 台 也 
会 自动 回收 资源 ， 重 新 放 回 资源 池 ， 这 样 资源 就 可 以 得 到 循环 使 用 ， 提 高 了 资源 的 利用 
率 。 因 此 ， 使 用 开发 测试 云 平 台 为 软件 开发 测试 通过 了 IT 文 持 ,实现 了 以 下 目标 : 

1. 提高 资源 利用 率 

使 用 开发 测试 云 平台 ， 把 所 有 的 IT 资源 集中 投入 到 一 个 数据 资源 池 ， 开 发 工程 师 
或 测试 工程 师 可 以 根据 工作 需要 来 申请 IT 资源 ， 环 境 管理 工程 师 可 以 监控 开 资源 的 使 
用 情况 ， 包 括 CPU、 内 存 和 存储 利用 率 。 使 用 开发 测试 云 平台 的 开 资源 调度 管理 和 资 
源 回收 功能 可 以 最 大 限度 地 高 效 利 用 资源 和 避免 资源 浪费 。 据 统计 ，IT 资源 的 每 台 PC 
的 利用 率 不 到 20% ， 而 使 用 的 开发 和 测试 云 平台 ，IT 资源 利用 率 可 提高 到 70% 。 

2. 降低 软件 开发 生命 周期 

人 通过 标准 化 的 申请 管理 和 自动 化 软件 
部 署 ， 大 大 降低 了 IT 资源 的 部 署 时 间 。 通 常 ， 部 署 一 套 环境 所 需 的 时 间 不 会 超过 
90min， 而 且 可 同时 并 行 处 理 多 项 部 署 请 求 ， 大 大 减少 了 搭建 环境 所 需 的 人 力 和 物力 ， 
从 而 间接 地 缩短 了 软件 开发 生命 周期 ， 从 某 种 意义 上 讲 也 节省 了 人 力 成 本 。 

3. 降低 开 总 用 于 成 本 
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使 用 开发 测试 云 平台 后 ， 服 务 器 的 平均 使 用 寿命 是 5 ~8 年 ， 而 且 更 加 稳定 ， 处 理 
能 力 更 强 。 考 虑 到 PC 的 使 用 效率 较 低 ， 以 及 服务 器 CPU 的 处 理 能 力 ， 如 果 每 年 更 换 4 
台 ， 只 需 花 费 60 万 元 左右 ， 直 接 节 省 50% 的 开 成 本 。 

4. 优化 业务 流程 

随 着 开发 测试 云 的 投产 实施 ， 部 门 内 部 管理 和 变更 流程 也 进行 了 相应 的 调整 和 改 
变 。 例如， 由 于 资源 池 的 划分 和 新 的 环境 搭建 模式 的 建立 ， 环 境 管理 员 和 网 络 管理 员 平 
时 只 需 维护 资源 池 即 可 ， 根 据 资 源 池 的 变化 情况 增加 或 减少 相关 资源 ， 这 样 对 于 突 发 的 
资源 申请 ， 环 境 管理 员 就 不 需要 临时 协调 资源 。 环 境 管理 员 和 网 络 管理 员 对 资源 池 的 管 
理工 作 绝 大 部 分 只 涉及 逻辑 层面 的 变更 ， 很 少 进行 物理 资源 的 变更 ， 从 而 显著 地 提高 环 
境 管 理 的 工作 效率 。 

5. 提升 管理 水 平 

随 着 自动 部 署 、 监 控 、 报 表 等 操作 的 规范 化 和 简易 化 ， 进 一 步 明 确 了 操作 人 员 、 运 
维 人 员 、 管 理 人 员 的 职责 ， 达 到 了 简化 流程 、 精 细 化 管理 的 目的 。 

邮 储 银行 结合 自身 软件 开发 测试 的 现状 ,利用 虚拟 化 技术 ， 搭 建 云 计算 平台 ， 达 到 
了 提高 工作 效率 、 简 化 管理 流程 ， 构 建新 一 代 开 发 测试 环境 方面 进行 了 有 益 的 探索 和 实 
践 。 同 时 利用 互联 网 金融 发 展 趋势 ， 把 握 金 融 信息 化 发 展 契 机 ， 向 基于 云 计算 、 大 数据 
的 生产 应 用 迈进 ， 形 成 邮 储 银行 新 的 竞争 优势 。 
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第 12 前 
浙江 省 农村 信用 社 联 合 社 私有 云 的 应 用 


12.1 在 互联 网 金融 上 的 创新 


12.1.1 建设 背景 


从 2013 年 起 ,浙江 省 农村 信用 社 联 合 社 (以 下 简称 浙江 农 信 ) 开始 并 计划 用 三 年 
的 时 间 ， 围 绕 创 业 普 患 、 便 捷 普 患 和 阳光 普 惠 三 大 目标 ,积极 开展 网 络 覆 盖 、 基 础 强 
化 、 扶 贫 帮 困 、 感 恩 回馈 和 创新 升级 五 大 行动 ， 让 全 省 广大 人 民 群 众 普遍 享有 基础 金融 
服务 的 权利 ， 享 有 参与 经 济 社会 发 展 的 机 会 。 

普 惠 金融 工作 主要 包括 以 下 三 方面 。 

1) 创业 普 囊 让 百姓 深 受 惠 。 以 “丰收 小 人 额 贷款 卡 ”和 “丰收 创业 卡 ” 为 载体 ， 推 
行 农户 贷款 “一 站 式 ”、 小 微 企业 贷款 “工厂 式 ”、 产业 贷款 “链条 式 ” 的 “三 式 ” 服 
务 模式 ， 文 持 城乡 农民 创业 创新 ， 扶 持 小 微 企业 成 长 。 

2) 便捷 普 囊 让 农 信服 务 广 受 惠 。 以 “丰收 村 村 通 ” 工 程 为 基础 ， 构 建 多 层次 、 多 
渠道 、 广 和 覆盖 的 服务 网 络 ， 积 极 全 面 开展 乡镇 财政 国库 集中 支付 、 社 保 卡 、 新 农 保 、 种 
粮 直 补 等 财政 业务 代理 和 政府 惠 民 资金 的 发 放 ， 让 广大 城乡 居民 不 出 村 、 不 出 社区 就 能 
得 到 金融 服务 。 

3) 阳光 普 惠 让 城乡 居民 长 受 惠 。 以 推进 丰收 信用 工程 建设 为 抓 手 ,与 农 办 联合 评 
定 信用 村 、 信 用 乡 ; 与 省 农业 厅 、 省 工商 局 联合 推进 农民 专业 合作 社 信用 等 级 评定 ， 完 
善 省 、 市 、 县 三 级 信用 体系 ， 努 力 实现 “ 银 村 、 银 农 、 银 商 、 银 企 ” 共 建 。 

随 着 浙江 农 信 业务 需求 的 大 幅 增 加 及 业务 量 的 爆发 性 增长 ， 原 核心 业务 系统 存在 功 
能 范围 定位 过 大 ， 以 及 承载 太 多 管理 类 功能 等 不 足 。 根 据 省 农 信 联 社 科 技 规划 AS400 
核心 瘦身 和 去 中 心 化 的 建设 思路 ，2013 年 实施 并 完成 了 信用 卡 、 大 总 账 系统 剥离 ， 以 
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确保 作为 “心脏 ”的 核心 业务 系统 低 负 三 和 高 效 稳定 运转 。 但 剥离 部 分 系统 之 后 的 核 
心 业 务 系统 仍然 偏重 交易 控制 和 以 账户 为 中 心 的 系统 设计 模式 ， 难 以 支撑 爆发 式 的 互联 
网 金融 业务 的 发 展 需要 。 同 时 ， 核 心 业 务 系统 未 进行 服务 标准 化 封装 ， 子 系统 模块 之 间 
仍 是 紧 耦 合 的 关系 。 子 系统 间 相 互 依赖 性 强 、 增 加 新 的 业务 时 开发 复杂 程度 高 、 工 作 量 
大 ， 难 以 支撑 快速 迭代 的 敏捷 开发 模式 ， 更 无 法 适应 和 干 变 万 化 、 开 放 式 的 互联 网 金融 时 
代 “ 以 客户 为 中 心 、 以 产品 为 基础 ”的 全 平台 建设 需要 。 

为 了 发 展 互联 网 金融 业务 ,浙江 农 信和 势必 需要 借助 云 计算 、 大 数据 和 开源 技术 组 
件 ， 以 开放 式 的 全 新 设计 理念 和 SOA 系统 架构 模式 ,通过 模块 化 、 参 数 化 、 服 务 化 和 
逻辑 分 层 松 耦合 的 方式 ， 全 新 构建 互联 网 金融 平台 。 

互联 网 金融 平台 相对 独立 于 现 有 核心 业务 系统 、 信 贷 系 统 、CRM 系统 等 传统 平台 ， 
两 者 之 间 通 过 调用 接口 服务 的 方式 实现 数据 交互 ， 确 保 既 满足 新 的 互联 网 业务 可 以 快速 
开发 、 快 速 上 线 ， 又 能 保持 原 有 核心 系统 平台 不 受 影响 。 














12.1.2 建设 目标 


浙江 农 信 互联 网 金融 业务 建设 需要 实现 以 下 目标 ; 

1) 建设 一 个 全 新 的 互联 网 金融 服务 系统 平台 。 该 平台 相对 独立 于 现 有 核心 业务 系 
统 平台 ， 通 过 服务 接口 调用 的 方式 实现 与 现 有 核心 业务 系统 平台 之 间 的 数据 交互 和 业务 
处 理 ， 以 满足 新 的 互联 网 金融 业务 快速 开发 、 快 速 上 线 的 需要 ， 同 时 又 保持 原 有 核心 业 
务 系 统 平台 不 受 影响 。 

2) 建设 一 套 全 新 的 综合 电子 账户 系统 。 综 合 电子 账户 系统 将 构建 成 为 多 层级 的 电 
子 账户 体系 ， 以 “客户 为 中 心 ”实现 客户 资产 负债 信息 的 完整 视图 展现 ， 满 足 网 上 商 
城 、 社 区 020 、 金 融 商城 在 内 的 快速 支付 结算 需求 ， 同 时 为 今后 直销 银行 的 开放 式 多 
产品 应 用 做 好 账户 准备 。 

3) 建设 基于 互联 网 金融 服务 平台 ， 开 发 符合 浙江 农 信 特色 的 “ 行 社 特色 馆 ” 网 上 
商城 业务 系统 。 采 取 统 分 结合 的 方式 ， 由 省 农 信 联 社 负责 搭建 系统 平台 , 行 社 基于 该 平 
台 开 展 电 商 业务 ， 网 上 商城 立足 本 地 ， 以 主打 农 副 产品 、 农 家 乐 、 农 资 “ 三 农 ” 为 切 
入 点 和 突破 口 ， 形 成 特色 化 、 精 品 化 、 差 异化 的 垂直 型 电 商 。 

4) 建设 基于 互联 网 金融 服务 平台 ， 开 发 符合 社区 银行 需要 的 020 综合 信息 服务 系 
统 。 社 区 020 服务 系统 将 充分 发 挥 浙江 农 信 点 多 面 广 的 优势 ， 以 社区 或 中 心 集镇 为 基 
点 ， 通 过 整合 社区 或 中 心 乡镇 周边 的 政府 平台 、 物 业 、 购 物 、 餐 饮 、 文 化 娱乐 、 健 吴 保 
健 等 综合 资源 ， 为 社区 客户 提供 便捷 的 生活 、 消 费 等 综合 信息 服务 ， 从 而 支持 社区 金融 
业务 的 快速 发 展 。 

5) 在 网 上 商城 系统 和 社区 020 综合 服务 系统 中 欧 入 浙江 农 信 的 金融 服务 功能 。 将 
现 有 的 支付 、 缴 费 、 代 购 、 理 财 等 金融 服务 能 入 到 网 上 商城 和 社区 020 互联 网 平台 渠 
道中 ， 后 期 依托 商城 系统 、020 平台 及 外 部 大 数据 ， 重 点 开发 线 上 实时 小 额 消费 信贷 
业务 。 
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12.1.3 整体 架构 


互联 网 金融 交互 平台 将 包括 电 商 平台 、020 平台 、 综 合 电 子 账 户 平台 、 大 数据 平 
台 等 子 系统 组 成 ， 遵 循 统一 模型 、 统 一 框架 、 数 据 集 中 、 数 据 共享 、 后 端 解 厢 、 前 端 融 
合 的 建设 原则 ， 其 中 综合 电子 账户 平台 将 作为 互联 网 金融 交互 平台 的 核心 ， 是 实现 以 
“客户 为 中 心 ”服务 战略 的 基础 。 

综合 电子 账户 平台 作为 购物 商城 、020 、 金 融 商 城 的 底层 核心 平台 ， 承 担 着 提供 基 
础 电子 账户 开户 、 便 捷 支付 结算 和 资金 归 集 、 以 客户 为 视角 的 集成 账户 视图 等 服务 ， 也 
是 与 银行 核心 系统 平台 实时 交易 的 关键 枢纽 ， 分 为 基础 业务 平台 、 公 共 服 务 、 产 品 和 汇 
道 四 个 层面 。 基 础 业务 平台 层 作为 综合 电子 账户 平台 的 架构 基础 及 核心 ， 支撑 各 种 业务 
应 用 服务 。 公 共 服 务 层 为 用 户 提供 各 种 业务 应 用 服务 。 产 品 层 分 为 行业 应 用 平台 、 对 公 
业务 平台 和 个 人 业务 平台 。 渠 道 层 适 用 于 PC、PAD 、 手 机 、ATM 、VTM 、 数 字 电 视 、 
固定 电话 等 多 种 业务 终端 ， 满 足 各 种 业务 应 用 场景 。 

在 业务 方面 ， 浙 江 农 信 通 过 建设 综合 电子 账户 系统 ， 需 能 有 效 支 撑 互 联网 金融 其 他 
子 项 目 ， 提 供 包括 便捷 电子 账户 管理 、 多 渠道 支付 结算 与 资金 归 集 、 整 合 挖掘 分 析 客 户 
信息 等 功能 。 

综合 电子 账户 系统 定位 于 一 个 安全 、 高 效 、 稳 定 、 开 放 、 可 伸缩 的 平台 型 系统 。 作 
为 众多 子 系统 的 信任 基础 、 互 联网 金融 项 目 与 银行 内 部 系统 的 重要 纽带 ， 综 合 电子 账户 
系统 须 实现 绝对 资金 安全 、 极 低 的 响应 延 时 、 极 高 的 业务 连续 性 ， 同 时 兼容 各 类 银行 系 
统 与 第 三 方 支付 系统 并 支持 廉价 线性 拓展 。 





























12.2 私有 云 在 互联 网 金融 中 的 定位 


12.2.1 传统 模式 建立 互联 网 金融 所 遇 到 的 问题 


在 向 互联 网 金融 转型 过 程 中 ,依靠 传统 银行 信息 系统 建设 过 程 中 碰 到 了 如 下 困难 。 

1) 随 着 手机 网 银 等 移动 设备 的 广泛 应 用 ， 各 种 促销 活动 的 大 量 展开 ， 系 统 需要 具 
备 大 规模 的 并 发 能 力 和 快速 弹性 能 力 ， 原 有 的 烟 向 式 架构 无 法 满足 大 量 增 长 的 业务 
需要 。 

2) 数据 来 源 越 来 越 多 ， 类 型 丰富 、 容 量 巨 大 ,传统 存储 模式 成 本 巨大 ， 管 理 困 
难 ， 分析 时 间 较 长 。 

3) 项 目 实施 过 程 中 ， 周 期 较 长 ， 无 法 满足 业务 快速 变化 的 需要 。 

4) 随 着 集群 和 服务 器 的 增加 ， 需 要 大 量 的 运 维 人 员 。 

5) 大 量 使 用 X86 服务 妖 和 开放 式 的 架构 ， 对 于 系统 安全 和 业务 的 可 靠 性 的 要 求 
270 














浙江 省 农村 信用 社 联合 社 私有 云 的 应 用 | 第 12 章 | 


增加 。 
12.2.2 以 私有 云 为 基础 的 全 新 的 互联 网 金融 服务 系统 


浙江 农 信和 经 过 周密 的 评估 ， 采 用 华为 公司 的 融合 架构 一 体 机 ( FusionCube) 产品 作 
为 基础 设施 ，FusionSphere 为 私有 云 平台 ,承载 着 全 新 的 互联 网 金融 服务 系统 ， 云 平台 
系统 的 设计 主要 基于 以 下 性 能 目标 : 

1) 处 理性 能 : 系统 数据 库 服务 器 、 应 用 服务 咒 、Web/yApp 服务 需 的 处 理 能 力 要 根 
据 业 务 量 和 用 户 量 的 具体 情况 满足 系统 处 理 要求 ; 同时 ， 系 统 的 网 络 带宽 支撑 必须 具有 
较 强 的 处 理 能 力 ， 避 免 可 能 出 现 的 通信 拥塞 。 

2) 可 靠 性 ， 系统 数据 库 服务 咒 、 应 用 服务 咒 、Web/yApp 服务 右 主 要 通过 分 布 式 架 
构 来 满足 高 可 靠 性 要 求 ， 同 时 满足 应 用 级 同城 (或 异地 ) 灾 备 、 数 据 库 异地 灾 备 模式 ， 
来 提升 系统 和 数据 安全 等 级 ; 电子 账户 后 台 模 块 可 考虑 独立 构建 峰值 系统 (同时 适用 
于 电 商 和 020 平台 ) ， 采 取 长 连接 和 异步 化 的 设计 来 减少 网 络 拥堵 ， 来 达到 系统 的 高 可 
用 性 。 

3) 安全 性 : 由 公有 云 服务 商 提供 网 络 、 防 DDOS 攻击 等 在 内 的 基础 实时 监控 ， 由 
系统 管理 员 负 责 对 应 用 系统 、 数 据 库 进 行 实时 监控 ， 同 时 应 用 部 分 提供 严密 的 操作 权限 
控制 和 安全 管理 措施 。 

4) 可 管理 性 : 系统 应 用 设计 采用 SOA、 组 件 化 、 人 参数 化 设计 ， 使 系统 能 够 便于 随 
着 业务 需求 的 变化 做 出 相应 的 调整 和 扩展 。 




















12.3 私有 云 建设 方案 


12.3.1 私有 云 的 部 署 架构 





浙江 农 信 私有 云 系 统 部 署 架 构 如 图 12-1 所 示 。 

所 有 IT 基础 设施 以 云 计 算 资 源 池 的 模式 向 上 层 提供 服务 ， 私 有 云 部 署 的 服务 器 集 
群 均 是 由 私有 云 中 的 虚拟 机 或 由 云 管理 平台 统一 管理 的 物理 机 组 成 的 。 

综合 电子 账户 将 交易 数据 、 交 易 数据 等 结构 化 数据 存储 于 DB2 中 ,采用 DB2 
pureScale 的 部 署 方式 ， 电 商 、020 应 用 采用 分 布 式 部 署 MySQL 数据 库 ， 利 用 多 个 数据 
库 市 点 同步 运行 一 个 MySQL 实例 ， 提 升 并 发 数据 处 理 能 力 。 所 有 访问 综合 电子 账户 的 
请 求 均 通过 由 云 计算 所 带 的 负载 均衡 功能 ， 均 衡 地 分 配 到 云 服 务 顺 进行 处 理 ， 以 避免 单 
点 过 热 问题 。 云 解析 服务 快速 定位 可 提供 服务 的 资源 ， 帮 助 综合 电子 账户 快速 实现 服务 
规模 的 动态 伸缩 。 定 制 云 监控 策略 ， 全 面 监控 综合 电子 账户 的 运行 情况 ， 在 第 一 时 间 通 
过 邮件 、 短 信 、 即 时 通信 软件 等 渠道 发 送 系 统 异 常 信 息 给 系统 管理 员 。 
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浙江 农 信 私 有 云 


SOA 服 务 
Web 防 火 墙 本 Dubbo(SOA) 服 务 器 
系统 内 调用 系统 内 调用 
消息 队列 服务 器 


写 数据 库 ”数据 库 服 务 器 


图 12-1 浙江 农 信 私 有 云 系统 部 署 架 构 


为 保证 极 高 的 业务 连续 性 、 极 低 的 系统 延 时 与 极 大 的 系统 吞吐 量 ， 包 括 账户 中 心 、 
交易 中 心 等 应 用 模块 采用 集群 式 方式 部 署 。 集 群 底 层 统 一 管理 调度 集群 中 的 各 服务 器 
主机 。 

为 避免 数据 库 成 为 系统 服务 或 计算 瓶颈 ， 数 据 库 采用 MySQL 集群 式 部 署 ， 集 群 中 
的 任意 节点 均 能 够 进行 读 写 操 作 。 集 群 能 够 自动 分 表 并 实现 匈 余 备份 ， 任 一 节点 出 现 故 
障 均 不 会 造成 数据 丢失 。 

应 用 模块 采用 松 耦 合 架构 ， 视 业务 需求 采用 同步 或 异步 的 方式 交互 。 同 步调 用 模式 
中 ， 各 模块 向 服务 注册 中 心 注册 本 身 可 提供 的 服务 ， 以 供 其 他 模块 快速 查询 并 调用 。 异 
步 模式 中 ,模块 集群 间 通 过 消息 队列 传递 消息 。 和 集群 中 各 服务 器 主机 产生 的 日 志 通 过 海 
量 日 志 汇 集 框架 或 消息 队列 自动 实时 归 集 ， 理 想 的 日 志 汇 集 框架 应 能 够 提供 自动 负载 均 
衡 等 高 级 可 选 配置 。 

对 于 高 度 结构 化 的 数据 ， 系 统 使 用 分 布 式 MySQL 数据 库 集 群 存储 ， 保 证 数据 的 原 
子 性 ， 一 致 性 、 隔 离 性 、 持 久 性 。 和 集群 式 数据 库 相 比 单机 数据 库 规避 了 单 点 故障 的 风 
险 ， 相 比 热 备 数据 库 减 少 了 资源 浪费 ， 相 比 主 从 式 数 据 库 消除 了 写 操作 的 性 能 瓶颈 。 此 
外 ， 开 源 MySQL 集群 式 部 署 的 方式 在 业界 已 经 成 熟 ， 能 够 在 降低 商业 数据 库 版 权 与 设 
备 成 本 的 同时 极 大 地 提升 数据 库 性 能 。 

用 户 行 为 数据 等 半 结 构 化 数据 不 必 严 格 保 证 一 致 性 ， 同 时 一 旦 写 入 后 很 少 变更 , 且 
写 操作 极为 频繁 。 因 此 ， 根 据 半 结构 化 数据 的 特性 ， 系 统 使 用 No-SQL 数据 库 集群 
存储 。 

外 部 接 入 系统 可 分 为 省 联 社 传统 银行 系统 、 互 联网 金融 子 系统 与 第 三 方 战 略 合作 伙 
伴 系统 。 为 降低 系统 的 耦合 度 、 提 高 性 能 与 安全 性 ， 毕 合 账户 系统 对 外 开放 多 种 接 人 方 
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式 ， 保证 系统 的 兼容 性 与 开放 性 。 

综合 电子 账户 系统 与 省 联 社 系统 通过 专线 方式 对 接 ， 保 障 通 信 的 稳定 性 、 安 全 性 与 
响应 时 间 ， 并 灵活 地 使 用 多 种 接口 ， 通 过 同步 或 异步 的 方式 进行 对 接 。 此 外 ， 系 统 后 端 
能 够 提供 大 批量 数据 导入 导出 的 专用 安全 管道 。 

互联 网 金融 综合 电子 账户 系统 架设 于 私有 云 内 网 环境 中 ， 并 通过 子 网 设置 进行 业务 
隔离 ， 因 此 具备 较 高 的 安全 性 与 通信 效率 。 接 入 方式 也 可 选择 多 种 方式 。 

与 第 三 方 战略 合作 伙伴 系统 进行 对 接 时 ， 系 统 可 根据 战略 合作 伙伴 系统 重要 性 、 紧 
密 性 与 接 入 风险 ， 并 根据 对 方 系统 部 署 环 境 、 开 发 语言 、 接 口 支持 、 通 信 数 据 不 同 ， 具 
体 分 析 提 供 的 接口 方式 与 接 入 深度 。 如 通过 公共 互联 网 对 接 ， 则 要 求 对 方 系统 发 送 的 通 
信 信 息 经 过 可 认证 的 数字 签名 ， 保 证 数据 的 完整 性 与 不 可 抵赖 性 ， 同 时 可 通过 加 密 的 方 
式 保护 敏感 数据 。 

整体 安全 性 方面 ， 通 过 配置 运行 环境 ( 云 环 境 、 操 作 系统 与 服务 器 ) 、 完 善 代码 规 
范 、 加 密 敏感 数据 等 多 种 方式 ， 全 方位 、 纵 深 式 保障 系统 安全 与 网 络 安全 。 


























12.3.2 私有 云 总 体 架 构 





浙江 农 信 私有 云 平 台 采 用 融合 架构 实现 对 互联 网 金融 平台 的 基础 文 撑 。 将 包括 计 
算 、 存 储 、 网 络 资源 进行 整合 ， 通 过 虚拟 化 实现 资源 的 充分 利用 ， 并 进行 所 有 IT 基础 
设施 资源 的 统一 管理 。 私 有 云 总 体 架构 如 图 12-2 所 示 。 


基础 设施 云 平台 


Unix X86 块 对 象 弹性 应 用 


云 资源 调度 





资源 | BNE | | 
i X86 服 务 器 ， X86 服务 器 ， ' X86 服务 器 ;i 网 络 ， 


TN = i TA 








到 12-2 ”私有 云 总 体 架 构 


基础 设施 云 平 台 提供 基础 的 计算 、 存 储 和 网 络 虚拟 化 的 能 力 ， 在 资源 管理 层 的 管理 
下 ， 提 供 统一 的 计算 、 存 储 、 网 络 资源 池 。 基 础 设施 层 同时 提供 本 地 的 基础 运 维 能 
包括 对 本 地 基础 设施 的 告警 、 性 能 、 拓 扑 的 监控 等 。 

云 管理 提供 私有 云 内 镜像 管理 、 业 务 编 排 、 自 动 化 、 弹 性 及 网 络 服务 。 资 源 管理 支 
持 对 不 同 虚拟 化 平台 计算 资源 的 统一 管理 ， 支 持 对 防火 墙 、 交 换 机 的 统一 管理 ; 文 持 对 
虚拟 化 平台 使 用 的 块 存储 设备 的 统一 管理 。 
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在 物理 资源 层 ， 服 务 器 、 存 储 、 网 络 等 设备 组 成 资源 集群 。 资 源 集群 由 一 个 或 多 个 
计算 资源 、 存 储 资源 和 网 络 资源 组 成 。 在 虚拟 资源 层 ， 一 个 虚拟 化 环境 中 可 以 有 多 个 资 
源 集群 。 资 源 集 群 管理 包括 创建 资源 集群 、 删 除 资源 集群 、 扩 容 资源 集群 、 减 容 资源 集 
群 、 查 询 资 源 集群 、 资 源 集 群 性 能 监控 和 资源 集群 的 调度 策略 等 。 通 过 资源 集群 管理 ， 
可 以 提高 基础 设施 资源 的 利用 率 和 灵活 性 ， 统 一 虚拟 化 资源 管理 的 能 力 ， 对 上 层 应 用 的 
发 放 屏蔽 差异 ， 提 升 了 虚拟 资源 的 管理 效率 ， 降 低 了 运 维 成 本 。 模 板 管理 实现 包括 虚拟 
机 模板 的 创建 、 发 布 、 查 询 、 修 改 等 。 云 管理 平台 可 以 实现 多 数据 中 心 统一 管理 调度 ， 
应 用 快速 部 署 ， 弹 性 伸缩 。 


























12.3.3 云 计算 融合 基础 设施 


浙江 农 信 采 用 融合 基础 设施 为 私有 云 提供 了 承载 平台 ,融合 基础 设施 的 单位 形态 是 
融合 架构 一 体 机 ， 将 计算 、 存 储 、 网 络 、 管 理 等 功能 集成 在 一 个 机 箱 中 。 其 组 成 形态 如 
图 12-3 所 示 : 

1. 硬件 组 成 

融合 架构 一 体 机 硬件 平 
台中 集成 了 可 以 混 插 的 计算 
/存储 刀片 和 GE/10CE/FC/ ，. 
IB 交换 模块 。 计 算 和 存储 iNIC 卡 
刀片 可 以 灵活 配置 以 应 对 不 更 
同 的 工作 负载 。 单 个 机 框 在 ” 它 狠 
仅仅 12U 的 空间 内 提供 64 GPU 
个 CPU 和 12.3TB 内 存 的 计 
算 能 力 ， 使 融合 架构 一 体 机 
尤其 适合 需要 高 计算 密度 的 
云 计算 工作 场景 ， 整 合 的 存 
储 和 SSD 缓存 对 提升 应 用 和 
数据 库 性 能 有 很 大 帮助 。 

2. 虚拟 化 软件 

在 融合 架构 一 体 机 中 ， 私 有 云 的 计算 虚拟 化 模块 定位 于 构建 针对 互联 网 金融 高 性 能 
业务 需求 环境 的 虚拟 化 平台 ， 通 过 对 开源 Xen 进行 安全 加 固 、 功 能 扩展 、 性 能 优化 和 
可 靠 性 保障 ， 打 造 安 人 全、 高效、 稳定 、 开 放 的 虚拟 化 平台 。 针 对 互联 网 金融 大 规模 特 
点 ， 虚 拟 化 软件 支持 大 规模 运 维 支撑 能 力 ， 提 供 虚 拟 机 完善 的 生命 周期 管理 能 力 、 虚 拟 
机 运行 状态 查询 能 力 、 虚 拟 机 动态 调整 能 力 及 虚拟 机 远程 安装 部 署 能 力 ， 支 撑 虚 拟 机 大 
规模 运 维 管理 。 引 入 “黑匣子 ”技术 ， 在 系统 出 现 异常 或 宕 机 时 自动 存储 VMM 内 核 日 
志 、 系 统 快 照 、 内 核 诊断 信息 及 临终 遗言 ， 并 保存 至 非 易 失 性 存储 设备 或 自动 传送 至 网 
络 服务 器 。 
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Le a 
虚拟 化 软件 ”分 布 式 存储 引擎 
图 12-3 云 计算 融合 基础 设施 组 成 形态 


云 管理 软件 
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. 云 管理 软件 

0 体 机 提供 计算 、 存 储 、 网 络 资源 的 调度 
管理 功能 ， 并 对 外 提供 弹性 计算 、 负 载 均衡 、 虚 拟 私 有 云 等 IaaS 服务 。 统 一 的 管理 系 
统计 用 户 可 以 通过 单一 控制 台 管理 所 有 资源 ， 从 交换 机 到 虚拟 机 ， 从 存储 卷 到 软件 应 
用 ， 从 应 用 部 署 到 自动 化 和 安全 。 融 合 基础 设施 可 以 从 单个 机 框 平 滑 扩展 到 整个 数据 中 

， 在 完成 新 增 硬件 的 物理 连接 后 ， 管 理 系统 会 自动 发 现 和 完成 配置 ， 使 云 计算 平台 的 
ny 

4. 融合 基础 设施 的 优点 

采用 融合 一 ae 系统 部 署 周 期 从 传统 模式 的 3 个 月 变 为 
14 天 ， 现 场 部 署 只 需 1 天 。 融 合 基 础 设施 提供 云 计算 所 带 来 的 便利 同时 ,仍然 保持 了 
传统 数据 中 心 的 高 性 和 a 
通过 更 高 的 资源 利用 率 、 更 少 的 连 线 和 网 络 连接 ， 相 比 传统 的 计算 、 网 络 、 存 储 分 
散 部 署 的 模式 ， 节 省 了 50% 以 上 的 机 架空 间 ， 降 低 了 IT 机房 投资 成 本 。 
融合 一 体 机 可 以 线性 扩展 来 适应 金融 互联 网 业务 ， 可 成 为 数据 中 心 及 跨 数据 中 心 规 
模 部 署 的 融合 基础 设施 平台 。 

融合 架构 一 体 机 适合 互联 网 金融 业务 的 多 种 应 用 场景 ， 能 够 高 效 地 承载 数据 库 和 中 
间 件 系统 平台 。 可 横向 扩展 的 存储 引擎 是 融合 架构 体 机 的 大 亮点 ， 基 于 P2P 和 SSD 
绥 存 技术 使 它 不 青 需 要 传统 的 RAID 控制 器 却 可 以 提供 更 高 的 可 用 性 和 扩展 性 。 在 条 带 
化 后 ， 数 据 被 保存 在 所 有 数 百 到 数 千 个 磁盘 上 ， 系 统 中 不 会 有 过 热 或 过 冷 的 磁盘 ， 这 种 
做 法 既 增加 了 磁盘 的 利用 率 ， 又 大 幅 提 升 了 10 性 能 ， 相 比 采 用 同样 数量 磁盘 的 传统 存 
储 系统 ， 融 合 架 构 一 体 机 可 以 实现 3 ~5 倍 的 IOPS 值 。 



































12.3.4 分 布 式 存储 


为 了 应 对 大 容量 、 高 并 发 的 互联 网 金融 业务 需求 ， 融 合 一 体 机 采用 分 布 式 存 储 软 
件 ， 与 融合 基础 设施 硬件 平台 配合 实现 高 性 能 、 高 可 靠 而 且 具 线性 扩展 能 

分 布 式 存储 软件 作为 一 种 与 计算 融合 的 存储 软件 ， 通 过 在 通用 服务 器 上 部 署 该 软 
件 ， 可 以 将 所 有 服务 器 的 本 机 磁盘 组 织 成 一 个 虚拟 存储 资源 池 ， 在 浙江 农 信 的 互联 网 金 
融 业 务 场 景 下 完全 替换 外 置 SAN。 分 布 式 存储 软件 使 计算 和 存储 高 度 融 合 ， 达 到 高 性 
能 、 Se 分 布 式 存 储 引擎 具有 以 下 特点 : 

. 突破 性 的 架构 和 设计 

Pe 
这 种 优化 充分 利用 系统 资源 并 且 在 所 有 的 系统 硬盘 驱动 器 之 间 自 动 分 配 工作 负载 。 此 
外 ， 系 统 还 支持 一 系列 高 级 功能 ， 如 精简 调配 和 快照 等 ， 而 且 这 些 功能 不 会 对 性 能 产生 
负面 影响 。 

2. 一 致 的 、 可 预测 的 性 能 及 可 扩展 性 

分 布 式 存储 软件 系统 在 所 有 磁盘 之 间 优 化 分 配 所 有 工作 负载 的 能 力 以 及 强大 的 分 布 
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式 缓存 结构 允许 系统 通过 添加 服务 器 节点 来 平滑 、 线 性 扩展 高 性 能 。 这 种 高 性 能 表现 具 
有 不 同 场景 的 一 致 性 ， 无 需 手 动 调试 ， 因 此 用 户 可 在 因为 业务 量 和 快照 使 用 模式 发 生变 
化 而 造成 的 高 峰 期 和 低谷 期 享受 到 相同 级 别 的 高 性 能 ， 即 使 在 组 件 发 生 故 障 时 也 不 
例外 。 

3. 高 弹性 和 自 愈 能 

分 布 式 存储 软件 可 在 硬件 故障 期 间 保持 高 度 弹 性 ， 继 续 正 常 运行 ， 几 乎 不 会 对 性 能 
产生 任何 影响 。 这 个 解决 方案 的 高 级 自 愈 功能 使 其 能 够 在 最 初 的 故障 恢复 之 后 抵御 更 多 
的 硬件 故障 。 

4. 计算 存储 高 度 融 合 

分 布 式 存储 软件 作为 一 种 把 存储 与 计算 融合 的 存储 软件 ， 将 所 有 服务 器 的 本 机 磁盘 
组 织 成 一 个 虚拟 存储 资源 池 进 行 管理 ， 具 有 管理 自动 化 、 运 行 高 性 能 、 安 装 免 工程 配置 
等 优点 。 存 储 不 再 作为 单独 网 元 进行 专门 的 配置 和 管理 ， 使 计算 节点 上 的 资源 得 到 充分 
利用 ， 企 业 用 户 在 得 到 高 性 能 存储 的 同时 ， 节 省 了 购买 外 置 存储 的 高 昂 费用 。 

5. 可 以 实现 快速 自 愈 

数据 分 片 在 资源 池内 打 散 ， 硬 盘 故 障 后 ， 可 在 资源 池 范围 内 自动 并 行 重 建 ，1TB 数 
据 重建 时 间 小 于 30min (48 个 节点 ) ， 无 需 热 备 盘 ， 完 全 满足 互联 网 金融 的 业务 需求 。 

6. 支持 无 限 次 快照 

系统 支持 无 限 次 快照 ， 不 降低 系统 性 能 ， 同 时 可 支持 一 致 性 快照 组 ， 用 于 保证 对 整 
个 应 用 或 虚拟 机 的 一 致 性 。 在 进行 重大 升级 等 可 能 导致 虚拟 机 故障 操作 前 ， 可 先 对 虚拟 
机 做 快照 ， 以 便 在 升级 过 程 中 遇 到 故障 无 法 成 功 升级 时 ， 可 以 将 虚拟 机 恢复 到 快照 时 刻 
的 正常 状态 。 











12.3.5 私有 云 运 维 管理 


浙江 农 信 私有 云 的 融合 基础 设施 部 署 与 运 维 可 以 实现 开 箱 即 用 、 模 板 化 简易 部 署 和 
统一 化 运 维 。 

1. 开 箱 即 用 

通过 预 集 成 的 模式 ， 开 箱 即 可 使 用 的 融合 基础 设施 一 体 机 模块 ， 极 大 地 简化 了 现场 的 
安装 、 调 测 时 间 ， 从 几 周 甚至 数 月 的 调 测 时 间 缩 减 到 几 个 小 时 之 内 。 预 集成 包括 的 内 容 : 

1) 硬件 预 安装 : 设备 上 柜 、 线 线 预 绑 。 

2) 软件 预 安装 : BIOS 定制 、 虚 拟 化 软件 软件 安装 和 存储 管理 软件 预 安装 。 

3) 整 机 集成 调 测 : 齐 套 性 检查 和 连通 性 检查 。 

4) 带 柜 运 输 : 立 柜 运输 。 

5) 现场 开局 : 上 电 硬 件 检测 、 齐 套 性 检查 和 连通 性 检查 。 

2. 模板 化 简易 部 署 

私有 云 系统 提供 三 种 模板 化 部 署 能 力 ， 包 括 软件 包 模板 、 虚 拟 机 模板 〈 能 指定 虚 
拟 机 的 规格 、 虚 拟 机 所 安装 的 0S、 应 用 软件 、 是 否 支 持 HA) 和 服务 模板 (包含 虚拟 
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机 、 应 用 软件 、 组 网 信息 等 )。 系 统 提 供 模 板 的 导入 导出 功能 ， 提 供 模 板 的 发 布 、 创 建 
应 用 等 功能 。 

私有 云 平台 采用 统一 Portal 上 提供 图 形 化 设计 IT 系统 的 能 力 ， 能 通过 拖 搜 的 形式 ， 
将 用 户 IT 系统 需要 多 少 物理 机 、 虚 拟 机 ; 虚拟 机 如 何 组 网 ;虚拟 机 安装 哪些 软件 包 等 
言 息 全 部 图 形 化 设计 完成 。 

3. 统一 运 维 

私有 云 可 实现 统一 运 维 。 统 一 运 维 是 指 在 融合 基础 设施 平台 上 ， 采 用 统一 的 用 户 界 
面 对 常 见 的 操作 维护 功能 进行 管理 ， 使 用 户 保持 一 致 的 体验 ， 大 大 简化 了 用 户 学 习 与 熟 
悉 界 面 的 实践 ， 降 低 运 维 人 员 操 作 维 护 出 错 的 概率 。 统 一 运 维 包 含 的 内 容 包 括 

1) 统一 的 用 户 界面 。 

2) 统一 的 硬件 资源 管理 ， 服务 器 、 存 储 、 网 络 的 物理 设备 资源 的 统一 管理 。 

3) 统一 的 虚拟 基础 设施 管理 : 服务 咒 、 存 储 、 网 络 的 虚拟 化 资源 的 统一 管理 。 

4) 统一 的 云 基础 服务 管理 : 各 种 应 用 软件 资源 〈 例 如 虚拟 桌面 资源 ) 统一 管理 。 

5) 统一 的 OM 功能 管理 : 包括 TOPO 、 告 警 、 监 控 等 。 

系统 具有 拓扑 和 监控 功能 ， 维 护 管理 员 通 过 分 权 分 域 功能 ， 可 以 监控 自己 权限 内 的 
资源 信息 ， 掌 握 资源 使 用 情况 和 设备 健康 状况 。 支 持 管理 员 自 定义 监控 统计 项 。 支 持 按 
监控 对 象 所 属 的 逻辑 节点 或 按 虚拟 机 的 业务 类 型 等 多 维度 分 类 监控 方式 ， 方 便 用 户 管理 
使 用 。 支 持 监 控 物 理 资 源 、 虚 拟 资源 的 CPU、 内 存 、 硬 盘 等 使 用 情况 。 在 云 平台 方面 ， 
可 监控 CPU、 内存、 存储 平均 占用 率 ， 故 障 服务 器 数量 ， 虚 拟 机 CPU、 内 存 、 存 储 资 
源 分 配 情况 等 。 在 集群 方面 ， 可 监控 CPU、 内 存 平均 占用 率 ， 故 障 服务 器 数量 ， 虚 拟 
机 CPU 、 虚 拟 内 存 分 配 情况 等 。 对 服务 器 的 监控 包括 服务 器 CPU 、 内 存 、 磁 盘 占 用 率 、 
磁盘 IO， 网 络 流量 ， 虚 拟 机 数量 ， 服 务 器 基本 信息 等 。 对 虚拟 机 监控 ， 包 括 虚 拟 机 
CPU 占用 率 、 内 存 占用 率 、 运 行 状 态 、 网 络 流入 和 流出 流量 、 磁 盘 读 写 速率 等 。 对 交 
换 机 可 监控 交换 机 端口 状态 、 流 量 。 可 统计 服务 器 性 能 趋势 、 虚 拟 资源 分 配 统计 等 
信息 。 

系统 支持 拓扑 自动 发 现 系 统 资源 。 支 持 以 拓扑 图 的 形式 展示 资源 、 资 源 关 系 及 状 
态 ， 其 状态 包括 正常 和 故障 等 情况 。 资 源 包括 集群 、 服 务 器 、 虚 拟 机 和 存储 。 

系统 支持 告警 管理 。 通 过 故障 管理 确保 系统 正常 运行 的 重要 活动 ， 包 括 系 统 故障 预 
防 设 计 、 故 障 检 测 和 处 理 。 告 警 管理 是 故障 管理 的 重要 部 分 ， 并 提供 Email 和 短信 通知 
告警 功能 。 

在 日 志 管 理 方面 ， 包 括 日 志 记 录 、 查 看 、 审 计 。 文 持 的 日 志 包 括 操作 日 志 、 系 统 运 
行 日 志和 黑匣子 日 志 。 操 作 日 志 包括 : 管理 员 访 问 运 维 管理 平台 日 志 ， 即 管理 员 的 操作 
日 志 ， 包 括 管理 员 登 录 、 修 改 配置 、 查 看 告警 监控 等 所 有 用 户 操作 的 日 志 。 黑 匣子 日 志 
用 于 业务 和 系统 异常 的 故障 定位 。 

系统 可 以 生成 各 种 统计 报表 和 运行 分 析 报告 。 

系统 可 对 用 户 进行 访问 控制 ， 支 持 用 户 组 、 分 权 、 密 码 管理 ， 便 于 维护 团队 内 分 职 
责 共 同 有 序 地 维护 系统 ， 还 可 设置 密码 策略 ， 确 保密 码 的 保密 性 。 例 如 : 密码 长 度 、 密 
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码 是 否 含 特殊 字符 、 密 码 有 效 时 长 等 。 系 统 可 以 初始 配置 和 配置 调整 ， 配 置 的 保存 和 备 
份 , 包括 网 络 、 告 警 、 对 接 、 业 务 等 。 

在 软件 管理 方面 ， 可 以 实现 供应 商 发 货 前 ， 将 部 分 云 操作 系统 软件 已 安装 到 服务 器 
上 。 系 统 同 时 可 以 进行 自动 化 批量 安装 ， 包 括 批量 安装 云 操作 系统 软件 、 用 户 虚 拟 机 软 
件 和 升级 补丁 等 。 云 操作 系统 的 安装 支持 统一 安装 界面 ， 一 次 性 导入 所 有 服务 器 的 信 
息 ， 多 节点 同时 加 载 安装 ， 安 装 效率 较 高 。 用 户 虚拟 机 软件 的 安装 可 以 通过 镜像 方式 创 
建 虚拟 机 并 安装 应 用 软件 ， 且 支持 批量 创建 虚拟 机 ， 大 大 减少 了 用 户 操作 和 操作 难度 。 
系统 可 进行 升级 、 打 补丁 及 回 退 的 自动 化 ， 包 括 云 操作 系统 软件 升级 、 打 补丁 有 工具 支 
撑 ， 实现 了 自动 化 健康 检查 、 分 发 软件 、 升 级 / 打 补 丁 、 校 验 、 回 退 ， 且 支持 静默 升级 ， 
即 升级 / 打 补 丁 不 影响 业务 。 

在 虚拟 机 运 维 管理 方面 ， 可 以 进行 虚拟 机 生命 周期 管理 ， 包 括 创 建 、 删 除 和 和 暂停 。 
对 虚拟 机 操作 管理 ,包括 启 动 、 关 闭 、 重 启 、 自 动 休眠 、 迁 移 和 查看 虚拟 资源 的 使 用 情 
况 ， 虚 拟 资源 包括 虚拟 计算 、 存 储 和 网 络 资源 。 对 虚拟 机 资源 调整 ， 包 括 vCPU 个 数 、 
内 存 、 网 卡 、 磁 盘 挂 载 和 印 载 等 。 系 统 可 以 远程 诊断 虚拟 机 。 














12.3.6 私有 云 安 全 管理 


浙江 农 信 私有 云 从 接 人 和 人 安全、 数据 安全 、 网 络 安全 、 虚 拟 化 安全 、 管 理 安 全 、 基 础 
设施 安全 和 物理 安全 等 方面 采取 严密 的 安全 措施 和 策略 ， 旨 在 进行 端 到 端的 安全 防护 。 

1. 接 入 安全 

为 了 防止 恶意 用 户 非 法 接 人 ， 私 有 云 系统 在 用 户 接 人 、 认 证 和 授权 方面 进行 了 周密 
的 防护 ， 以 保证 只 有 经 过 认证 和 授权 的 用 户 才能 访问 其 在 云 计 算 系 统 中 的 计算 资源 和 存 
储 空间 ， 防 止 “危险 ”的 终端 或 者 用 户 对 云 造 成 损害 。 

2. 数据 安全 

在 数据 安全 保护 方面 ， 私 有 云 主 要 从 用 户 数据 隔离 、 数 据 访问 控制 和 数据 备份 三 方 
面 着 手 进行 保护 。 虚 拟 机 所 有 的 VO 操作 都 会 截获 处 理 ， 保 证 虚拟 机 只 能 访问 分 配给 它 
的 物理 磁盘 空间 ， 从 而 实现 不 同 虚拟 机 硬盘 空间 的 安全 隔离 。 

VM 删除 或 数据 卷 删除 是 指 系统 进行 卷 (Volume) 资源 回收 时 ， 小 数据 块 链表 将 被 
释放 ， 进 入 资源 池 。 存 储 资源 重新 利用 时 ， 再 重新 组 织 小 数据 块 ， 这 样 从 新 分 配 的 虚拟 
磁盘 恢复 原来 数据 的 可 能 性 很 小 。 数 据 中 心 的 物理 硬盘 更 换 后 ， 需 要 数据 中 心 的 系统 管 
理 员 采 用 消 磁 或 物理 粉碎 等 措施 保证 数据 彻底 清除 。 

数据 存储 采用 多 重 备份 机 制 ， 每 一 份 数据 都 可 以 有 一 个 或 者 多 个 备份 ， 即 使 存储 载 
体 (如 硬盘 ) 出 现 了 故障 ， 也 不 会 引起 数据 的 丢失 ， 同 时 也 不 会 影响 系统 的 正常 使 用 。 
系统 对 存储 数据 按 位 或 字 节 的 方式 进行 数据 校 验 ， 并 把 数据 校 验 信息 均匀 的 分 散 到 阵列 
的 各 个 磁盘 上 ; 阵列 的 磁盘 上 既 有 数据 ， 也 有 数据 校 验 信息 ， 但 数据 块 和 对 应 的 校 验 信 
息 存 储 于 不 同 的 磁盘 上 ， 当 某 个 数据 盘 被 损坏 后 ， 系 统 可 以 根据 同一 带 区 的 其 他 数据 块 
和 对 应 的 校 验 信息 来 重 构 损 坏 的 数据 。 
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3. 网 络 安全 

在 网 络 安全 防护 方面 ， 私 有 云 主要 从 传输 加 密 、 平 面 隔离 和 设置 VLAN 及 安全 组 的 
方式 着 手 。 管 理 员 访 问 管理 系统 ， 均 采用 HTTPS 方式 ,传输 通道 采用 SSL 加 密 。 网 络 
通信 平面 划分 为 业务 平面 、 存 储 平面 和 管理 平面 ， 且 三 个 平面 之 间 是 隔离 的 。 保 证 最 终 
用 户 不 能 破坏 基础 平台 ， 管 理 员 不 能 侵入 用 户 虚 拟 机 。 通 过 虚拟 网 桥 实现 虚拟 交换 功 
能 ， 虚 拟 网 桥 支持 VLAN 标签 功能 ， 实 现 VLAN 隔离 ， 确 保 虚 拟 机 之 间 的 安全 隔离 。 处 
于 不 同 物理 服务 器 上 的 虚拟 机 通过 VLAN 技术 可 以 划分 在 同一 个 局 域 网 内 ， 同 一 个 服务 
器 上 的 同一 个 VLAN 内 的 虚拟 机 之 间 通 过 虚拟 交换 机 进行 通信 ， 而 不 同 服务 器 上 的 同一 
VLAN 内 的 虚拟 机 之 间 通 过 交换 机 进行 通信 ， 确 保 不 同 局 域 网 的 虚拟 机 之 间 的 网 络 是 隔 
离 的 ， 不 能 进行 数据 交换 。 

4. 虚拟 机 安全 

虚拟 机 安全 组 通过 VLAN 和 防火 墙 规则 实现 是 一 组 虚拟 机 的 集合 ， 达 到 在 一 个 物理 
网 络 中 ， 划 分 出 相互 隔离 的 逻辑 虚拟 局 域 网 ， 提 高 网 络 安全 性 。 

虚拟 化 安全 措施 上 ， 私 有 云 对 同一 物理 机 上 不 同 虚拟 机 之 间 的 资源 隔离 ， 避 免 虚 拟 
机 之 间 的 数据 窃取 或 恶意 攻击 ,保证 虚拟 机 的 资源 使 用 不 受 周边 虚拟 机 的 影响 。 终 端 用 
户 使 用 虚拟 机 时 ， 仅 能 访问 属于 自己 的 虚拟 机 的 资源 〈 如 硬件 、 软 件 和 数据 ) ， 不 能 访 
问 其 他 虚拟 机 的 资源 ， 保 证 虚拟 机 隔离 安全 。 

5. 管理 安全 

在 管理 安全 方面 ， 私 有 云 主 要 采用 ， 对 系统 日 志 进 行 监控 分 析 和 审计 、 管 理 员 分 权 
分 域 、 设 定 管理 员 支 持 设置 密码 策略 等 方式 ， 确 保密 码 的 保密 性 。 

6. 基础 设施 安全 

在 基础 设施 安全 方面 ， 私 有 云 系统 分 别 进行 了 操作 系统 裁剪 、 加 固 和 数据 库 裁剪 、 
加 固 的 方式 增强 云 基础 设施 安全 。 操 作 系 统 安装 时 只 安装 满足 业务 需求 的 “最 小 化 操 
作 系 统 ”， 同 时 对 操作 系统 进行 安全 配置 。 

操作 系统 安全 配置 包括 账号 口令 安全 配置 、 系 统 服务 安全 配置 、 文 件 及 目录 权限 的 
设置 等 。 操 作 系统 和 数据 库 程 序数 据 文件 安装 在 不 同 NTFS 分 区 上 ， 在 非 系统 卷 上 安装 
数据 库 程序 和 文件 。 

采用 最 小 化 安装 原则 : 只 安装 业务 需要 的 组 件 ， 不 安装 如 升级 工具 、 开 发 工具 、 代 
码 示 例 、 联 机 从 书 等 不 必要 组 件 。 限 制 客 户 端 计 算 机 连接 到 数据 库 服 务 器 所 能 够 使 用 的 
协议 的 范围 ， 并 确保 这 些 协议 的 安全 性 ， 如 限制 只 使 用 TCPZP 协议 。 限 制 客户 端 计 算 
机 连接 到 数据 库 服 务 器 所 使 用 的 特定 端口 ， 不 使 用 默认 端口 。 登 录用 户 设置 强 账号 密 
码 ， 并 定期 修改 。 

采用 最 小 授权 原则 ， 以 用 户 组 为 单位 来 分 配 权限 。 



































12.3.7 私有 云 可 靠 性 设计 





浙江 农 信 私有 云 系统 在 可 靠 性 设计 方面 ,重点 考虑 在 大 规模 互联 网 业务 运营 环境 
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下 ， 私 有 云 系统 能 够 实现 自动 化 容错 ， 通 过 高 可 靠 性 私有 云 系统 设计 ， 保 证 业务 的 连续 
性 。 系 统 引 入 虚拟 化 在 可 靠 性 方面 的 优势 ， 在 业务 、 硬 件 、 软 件 等 层面 ， 提 供 了 强大 的 
可 靠 性 保障 ， 以 满足 互联 网 金融 业务 可 靠 性 需求 。 按 照 架构 分 层 ， 在 业务 层面 实现 多 数 
据 中 心 异地 业务 容 灾 、 快 照 、 备 份 与 恢复 等 。 在 平台 层面 实现 资源 动态 调度 、 虚 拟 机 高 
可 用 (HA) 、 负 载 均衡 、 流 控 、 数 据 一 致 性 、 存 储 多 路 径 访 问 等 。 在 硬件 层面 实现 服 
务 器 电源 、 风 扇 宛 余 备份 、 内 存 软 失效 保护 、 网 络 双 平面 、 硬 盘 故 障 预 警 、 热 插 拔 等 。 
在 管理 层面 实现 告警 管理 、 日 志 管 理 、 配 置 管理 、 故 障 管理 、 升 级 不 中 断 业 务 管理 以 及 
在 线 无 损 扩 容 等 。 

1. 计算 与 存储 集群 分 离 

私有 云 平台 采用 计算 集群 和 存储 集群 相 分 离 的 架构 ， 极 大 地 提升 了 系统 的 可 靠 性 。 
计算 集群 完成 对 虚拟 机 的 按 需 分 配 ， 并 支持 虚拟 机 在 集群 内 的 热 迁 移 ， 虚 拟 块 存储 集群 
完成 系统 卷 和 用 户 卷 的 按 需 分 配 ， 并 支持 卷 数据 的 跨 物理 服务 器 存放 。 为 了 满足 卷 IO 
操作 通信 带宽 和 时 延 的 要 求 ， 计 算 集群 一 般 使 用 本 数据 中 心 的 虚拟 块 存储 集群 ， 与 此 同 
时 ， 两 集群 之 间 通 过 采用 网 络 存 储 多 路 径 方式 保证 卷 访问 通信 的 可 靠 性 。 

2. 管理 节点 可 笔 性 增强 

私有 云 平台 业务 管理 节点 采用 高 带宽 的 心跳 线 连通 。 备 用 节点 实时 检测 主 用 节点 的 
健康 状态 ,一 旦 发 现 主 用 管理 节点 故障 ， 备 用 管理 节点 将 立刻 接管 主 用 节点 的 任务 ， 持 
续 对 外 提供 服务 。 

针对 业务 管理 节点 上 的 应 用 进程 ,通过 采用 软件 狗 的 方式 对 运行 在 管理 节点 上 的 进 
程 进行 实时 监控 。 如 果 发 现 进程 吊 死 或 进入 死 循环 ， 软 件 狗 将 会 检测 到 相关 进程 的 异常 
状态 ， 并 触发 相关 进程 的 重启 恢复 。 如 果 发 现 进程 重启 后 仍 不 能 恢复 正常 ， 则 进行 业务 
管理 节点 的 主 备 倒 换 以 保证 应 用 进程 的 可 靠 性 。 

管理 节点 负责 对 全 系统 的 业务 进行 管理 ,采用 主 备 高 可 靠 性 的 工作 方式 ， 如 果 主 备 
管理 节点 同时 故障 的 时 候 ， 相 关 的 业务 会 受 影响 ,例如 虚拟 机 的 创建 和 删除 等 ,但 是 ， 
对 于 已 经 存在 并 运行 中 的 虚拟 机 ， 不 会 产生 任何 影响 ， 也 就 是 说 即使 主 备 管理 节点 同时 
故障 ， 也 不 会 对 正在 使 用 的 虚拟 机 产生 影响 ， 用 户 继续 使 用 虚拟 机 上 的 应 用 程序 ， 不 会 
有 任何 感知 。 

为 了 提供 稳定 的 高 可 用 的 互联 网 金融 并 发 业务 和 如 免 大 流量 冲击 导致 系统 骨 演 ， 管 
理 节点 针对 系统 关键 流程 设计 了 完善 的 流量 控制 机 制 。 首 先 在 网 卡 接 入 点 采用 操作 流 控 
普 施 ， 从 前 端 抑制 系统 过 载 ， 保 证 系统 的 稳定 性 。 其 次 是 针对 系统 内 部 的 瓶 贷 环节 ， 增 
加 了 鉴 权 、 虚 拟 机 相关 业务 流 控 (包括 虚拟 机 迁移 、 虚 拟 机 HA、 虚 拟 机 的 创建 、 虚 拟 
机 的 休眠 和 唤醒 、 启 动 和 停止 ) ，O&M 流 控 ， 确 保 各 个 环节 不 因为 流量 过 载 导致 业务 
失效 。 

3. 故障 预防 机 制 

私有 云 系统 提供 了 故障 检测 和 告警 的 功能 ， 同 时 它 包 括 了 在 Web 浏览 器 中 显示 故 
障 信息 的 工具 。 一 旦 集群 进入 正常 状态 ， 系 统 提 供 使 用 数据 可 视 化 工具 观察 集群 管理 和 
分 配 负载 的 功能 ， 可 以 帮助 用 户 确定 是 否 有 负载 均衡 问题 、 失 控 进 程 或 硬件 性 能 下 降 的 
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趋势 ， 将 对 合理 调整 、 分 配 系统 资源 ， 提 高 系统 整体 性 能 起 到 重要 作用 。 历 史记 录 人 允许 
查看 集群 每 日 的 、 每 周 的 ， 甚 至 是 每 年 消耗 的 硬件 资源 。 通 过 在 每 个 被 监控 的 节点 包括 
定制 化 的 虚拟 机 上 运行 探 针 程序 ，OM 系统 可 以 收集 被 监控 节点 或 者 虚拟 机 的 核心 指标 
如 CPU 使 用 情况 、 基 础 网 络 流量 和 内 存 数据 等 ， 检 测 到 诸如 进程 月 演 、 管 理 和 存储 链 
路 异常 ， 节 点 宕 机 、 系 统 资源 过 载 等 各 种 异常 ， 使 系统 具备 完善 的 故障 检测 能 力 。 男 
外 ， 私 有 云 系统 中 提供 了 健康 检查 工具 ， 为 技术 支持 工程 师 和 维护 工程 师 提供 的 一 套 日 
常 检查 工具 ， 并 能 输出 各 部 件 健康 检查 报告 ， 方 便 技术 支持 工程 师 和 维护 工程 师 快 速 了 
解 系统 的 健康 状况 。 通 过 检查 系统 当前 信息 和 运行 状态 ， 反 映 系 统 健康 或 亚 健康 状态 ， 
在 开局 、 巡 检 、 升 级 等 维护 场景 中 使 用 。 目 前 健康 检查 工具 可 以 检测 的 信息 ， 包 括 关键 
配置 文件 检查 (例如 软件 狗 配置 文件 、 双 机 备份 配置 文件 ) 、 进 程 检查 (例如 重要 进程 
内 存 占用 、 狗 进程 状态 ) 、 虚 拟 化 信息 检查 (例如 虚拟 机 Pvdriver 是 否 安装 检查 等 )、 备 
份 检查 (例如 检查 备份 机 制 是 否 有 效 ) 、 软 硬件 信息 检查 (例如 软件 版 本 号 、BIOS 信 
息 、 物 理 节点 CPU 信息 等 ) 。 

系统 提供 了 数据 一 致 性 审计 ， 除 了 系统 本 身 针 对 关键 资源 提供 的 自 审计 和 恢复 能 力 
之 外 ， 还 支持 定时 审计 虚拟 机 ， 卷 的 相关 数据 和 状态 的 一 致 性 ， 发 现 有 异常 ， 会 自动 记 
录 并 针对 记录 情况 提供 操作 指导 ， 以 便 维护 人 员 做 相应 的 判断 和 恢复 措施 ， 从 而 保证 系 
统 内 部 各 种 相互 关联 数据 的 一 致 性 。 

4. 灾 备 

系统 提供 配置 数据 和 业务 数据 定期 本 地 和 异地 备份 能 力 ， 当 管理 节点 服务 异常 无 法 
自动 修复 时 ， 通 过 本 地 备份 的 数据 立即 恢复 ; 当 由 于 灾难 性 的 故障 导致 管理 节点 双 点 同 
时 故障 且 不 能 通过 重启 等 操作 进行 恢复 ， 可 使 用 异地 备份 数据 立即 恢复 (1h 之 内 完 
成 )， 减少 故 障 恢复 时 间 。 

私有 云 系统 内 部 提供 了 时 钟 同步 功能 ， 可 以 保证 所 有 网 元 (IPSAN、 交 换 机 、 管 理 
节点 、 计 算 节点 、 服 务 器 硬件 管理 口 、 防 火 墙 等 ) 时 间 一 致 ， 还 支持 外 接 便 准 时 钟 源 
设备 ， 可 以 保证 全 局 时 间 统 一 旦 精准 ,方便 系统 维护 以 及 各 个 网 元 的 正常 消息 交互 。 

5. 云 平台 故障 处 理 机 制 

私有 云 的 虚拟 化 系统 可 靠 性 ， 除 了 支持 通用 的 虚拟 机 热 迁 移 、 虚 拟 机 负载 均衡 、 虚 
拟 机 HA 外 ， 还 支持 虚拟 机 故障 隔离 ， 虚 拟 机 之 间 彼 此 相互 独立 ， 一 个 虚拟 机 故障 不 会 
影响 其 他 虚拟 机 。 用 户 对 虚拟 机 的 使 用 体验 和 对 传统 物理 机 的 体验 相同 ， 因 此 在 一 个 虚 
拟 机 内 的 任何 操作 ， 不 对 同一 台 物 理 服 务 器 上 的 其 他 虚拟 机 和 虚拟 化 平台 自身 的 可 用 性 
产生 和 危害。 即使 虚拟 机 的 运行 出 现 故障 ， 比 如 操作 系统 崩溃 、 应 用 程序 错误 导致 死机 等 
情况 ， 同 一 物理 服务 器 上 的 虚拟 化 平台 以 及 其 他 虚拟 机 仍然 可 以 正常 运行 ， 继 续 为 用 户 
提供 服务 。 

当 虚拟 机 本 身 发 生 故 障 或 者 虚拟 机 所 在 物理 服务 器 发 生 故 障 导 致 虚拟 机 故障 时 ， 系 
统 能 够 根据 用 户 预 先 设置 的 故障 处 理 策略 ， 决 定 在 本 地 或 异地 重新 启动 虚拟 机 ， 以 尽快 
恢复 业务 的 运行 。 用户 也 可 以 设置 为 虚拟 机 发 生 故 障 后 不 作 人 处 理 ， 在 这 种 故障 处 理 策略 
下 ,系统 即使 检测 到 虚拟 机 发 生 故 障 ， 也 不 会 做 处 理 。 对 于 虚拟 机 0S 内 部 故障 ， 如 
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Windows 虚拟 机 的 蓝屏 故障 ， 或 Linux 虚拟 机 的 Panic 状态 ， 这 类 故障 系统 都 能 检测 到 
并 处 理 。 通 过 增强 系统 的 自动 化 维护 手段 ， 减 少 了 维护 人 力 投入 ， 最 大 限度 地 减少 虚拟 
机 业务 中 断 时 间 ， 缩 短 了 平均 故障 恢复 时 间 ， 提 升 系统 可 靠 性 。 

私有 云 的 虚拟 化 软件 和 虚拟 化 管理 软件 通过 黑匣子 功能 ， 在 管理 节点 或 者 计算 节点 
出 现 系 统 骨 省、 进程 死 锁 或 异常 复位 故障 时 ， 会 将 “ 临 死 信息 ”备份 到 本 地 目录 ， 用 
于 后 续 故 障 定位 。 

黑匣子 主要 用 于 管理 节点 和 计算 节点 上 收集 并 存储 操作 系统 异常 退出 前 的 内 核 日 
志 、 诊 断 工具 的 诊断 信息 等 数据 ， 以 便 操作 系统 出 现 死机 后 ， 系 统 维护 人 员 能 将 黑匣子 
功能 保存 的 数据 导出 分 析 。 为 了 让 这 些 系统 定位 数据 不 丢失 ， 黑 匣子 文 持 把 操作 系统 死 
机 前 收集 的 数据 通过 Netpoll 方式 实时 发 送 至 远 端 服务 器 进行 备份 ， 如 果 网 络 异 常 则 会 
保存 在 本 地 。 

6. 网 络 可 靠 性 增强 

私有 云 网 络 子 系统 主要 采取 以 下 措施 来 增强 系统 的 可 靠 性 : 网 络 路 径 全 元 余 ; 网 络 
分 平面 避免 不 同 消息 相 互 干 扰 ; 通过 网 卡 绑 定 技术 提高 了 服务 器 端口 的 可 用 性 ; 通过 交 
换 机 堆 县 技术 将 两 台 交 换 机 虚拟 成 一 台 使 用 在 提高 链 路 的 利用 效率 的 同时 大 大 提高 了 列 
中 交换 机 的 可 靠 性 ; 通过 Trunk 后 的 SmartLink 技术 接 入 汇聚 交换 机 ; 在 核心 路 由 器 侧 ， 
采用 VRRP 技术 部 署 主 备 两 台 路 由 器 以 便 提 高 网 络 核心 部 分 的 可 用 性 。 

网 络 路 径 全 宛 余 ， 按 照 层 次 网 络 分 为 核心 层 、 汇 聚 层 、 接 和 人 层 和 虚拟 网 络 层 。 当 系 
统 规模 较 小 时 ， 核 心 层 和 汇聚 层 可 合 一 。 核 心 层 交换 设备 主要 完成 数据 中 心 之 间 的 通信 
互联 ， 同 时 提供 数据 中 心 对 外 网 络 出 口 。 核 心 交 换 机 对 外 与 防火 墙 /NAT 连接 ， 对 内 与 
汇聚 交换 机 或 列 中 交换 机 连接 。 通 过 使 用 交换 机 集群 ， 保 证 了 核心 层 的 网 络 连接 元 余 。 
汇聚 层 交 换 设 备 位 于 各 个 数据 中 心机 房 内 部 ， 完 成 本 数据 中 心 内 各 列 中 交换 机 的 流量 汇 
聚 ， 对 外 与 核心 层 交 换 机 通过 三 层 互通 ， 同 时 对 列 中 交换 机 提供 二 层 接 和 功能。 通过 使 
用 交换 机 集群 ， 保 证 了 对 外 与 核心 层 交 换 设备 和 数据 中 心 内 列 中 交换 机 连接 的 元 余 。 列 
中 交换 机 位 于 机 柜 内 部 ， 负 责 本 机 柜 内 部 的 服务 器 接 和 人 。 通 过 使 用 交换 机 堆 磊 ， 保 证 了 
对 外 与 汇聚 层 交 换 设备 和 对 内 虚拟 网 络 层 连接 的 元 余 。 虚 拟 网 络 层 位 于 服务 器 内 部 ， 负 
责 服 务 器 内 部 的 虚拟 机 之 间 以 及 对 外 通信 功能 。 通 过 采用 多 网 卡 绑 定 ， 避 免 单个 网 卡 故 
障 引发 的 业务 中 断 。 

整个 私有 云 系统 网 络 逻 辑 上 分 为 三 个 平面 : 管理 平面 、 存 储 平面 和 业务 平面 。 为 了 
保证 各 种 网 络 平面 数据 的 可 靠 性 ， 采 用 分 网 络 平面 的 架构 方案 ,不 同 平面 间 采 用 VLAN 
进行 隔离 ， 单 个 平面 的 故障 不 影响 其 余 的 两 个 平面 继续 工作 。 例 如 当 管 理 平面 暂时 故障 
时 ， 业 务 平面 还 能 够 继续 为 云 终 端 用 户 提 供 服 务 。 

此 外 ， 系 统 还 支持 基于 VLAN 的 优先 级 设 定 ， 使 得 内 部 的 管理 /控制 报 文具 备 最 高 
的 权限 ， 从 而 使 得 在 任何 时 候 ， 管 理 员 和 用 户 均 可 以 管控 系统 。 在 服务 器 内 部 ， 通 过 对 
多 个 网 卡 的 合理 绑 定 和 分 类 ， 人 允许 将 管理 、 业 务 和 存储 平面 部 署 在 不 同 物理 网 卡 上 ， 并 
将 其 连接 到 不 同 的 接 入 层 交 换 设 备 接口 上 ， 从 而 实现 物理 层面 的 网 络 隔离 。 

对 于 物理 服务 器 提供 的 多 块 网 卡 ， 出 于 可 靠 性 以 及 流量 负载 均衡 的 考虑 ， 系 统 采 用 
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绑 定 模式 ， 多 块 物理 网 卡 被 绑 定 成 逻辑 上 的 “一 块 网 卡 ” 后 ， 同 步 一 起 工作 ， 对 服务 
器 的 访问 流量 被 均衡 分 担 到 多 块 网 卡 上 ， 这 样 每 块 网 卡 的 负载 压力 被 大 幅 减 轻 ， 抗 并 发 
访问 的 能 力 提高 ， 保 证 了 服务 需 访 问 的 稳定 和 畅快 。 当 其 中 一 块 网 卡 发 生 故 障 的 时 候 ， 
另外 的 网 卡 立刻 接管 全 部 负载 ， 过 程 是 无 颖 的 ， 服 务 不 会 中 断 ， 避 免 单个 网 卡 或 者 链 路 
故障 引发 的 业务 中 断 。 服 务 器 绑 定 多 网 卡 的 实际 意义 在 于 当 系 统 采用 绑 定 多 网 卡 形 成 阵 
列 之 后 ， 不 仅 可 以 扩大 服务 器 网 络 进出 口 带宽 ， 而 且 可 以 实现 有 效 负载 均衡 和 提高 容错 
能 力 ， 避 免 服 务 器 出 现 传输 瓶颈 或 者 因 某 块 网 卡 故 障 而 停止 服务 。 

7. 硬件 可 靠 性 增强 

计算 节点 支持 存储 模块 的 元 余部 署 ， 其 上 虚拟 机 通过 标准 协议 访问 存储 系统 ， 并 通 
过 多 块 网 卡 的 负 和 葵 分 担 技术 、 交 换 机 的 堆 释 和 集群 技术 提供 存储 路 径 的 物理 元 余 。 任 意 
一 个 虚拟 机 对 所 挂 载 的 任意 一 个 虚拟 卷 ， 都 将 至 少 有 两 个 完全 元 余 的 路 径 来 实现 卷 的 多 
路 径 访 问 ， 并 通过 多 路 径 软 件 来 实现 访问 多 路 径 的 控制 和 故障 切换 ， 从 而 避免 单 点 故障 
带 来 的 系统 可 靠 性 问题 。 

私有 云 通过 采用 高 可 靠 性 硬件 来 降低 系统 整体 故障 风险 ， 并 减轻 运 维 人 员 的 工作 负 
担 。 服 务 需 在 内 存 软件 错误 纠正 上 采用 内 存 ECC (Error Checking and Correction) 技术 ， 
采用 工业 标准 的 纠 错 算法 ， 能 够 检测 内 存 2bit 错误 ， 并 修复 内 存单 比特 错误 。 硬 盘 采 用 
热 插 拔 硬盘 ，IPSAN 磁盘 框 支持 系统 运行 时 的 硬盘 (SAS/SATA ) 热 插 拔 。 对 于 硬盘 
RAID, 在 IPSAN 模式 下 支持 RAID 0、RAID1、RAID5 、RAID6、RAID10 、RAID50、 
RAID60， 支 持 RAID 下 另 加 热 备 盘 的 配置 ， 保 证 了 硬盘 数据 的 高 可 靠 性 ， 在 RAID 组 的 
某 块 硬盘 坏 掉 后 ， 支 持 数据 恢复 、RAID 组 恢复 和 在 线 更 换 硬 盘 。IPSAN 控制 框 可 以 对 
Cache 数据 进行 保护 ， 既 可 以 提高 对 硬盘 的 访问 性 能 ， 又 可 以 防止 意外 掉 电 时 数据 的 丢 
失 。 私 有 云 的 服务 器 和 存储 采用 了 SMART (SMART 是 Self- Monitoring Analysis and Re- 
porting Technology， 自 监测 、 分 析 和 报告 技术 ) 标准 来 实现 对 基于 ATA 和 iSCSI 接口 的 
硬盘 进行 监控 和 可 靠 性 管理 ， 检 查 其 可 靠 性 并 预测 磁盘 错误 。 技 术 原 理 主要 是 通过 侦 测 
硬盘 各 属性 ， 如 数据 吞吐 性 能 、 马 达 起 动 时 间 、 寻 道 错 误 率 等 属性 值 和 标准 值 进 行 比较 
分 析 ， 推 断 重 盘 的 故障 情况 并 给 出 提示 信息 ， 帮 助 用 户 避 免 数 据 损 失 。 私 有 云 服 务 器 配 
置 2 组 电源 (PSU) ， 提 供电 源 故障 告警 ， 支 持 电 源 1 +1 元 余 和 热 插 拔 ， 可 以 在 1 组 电 
源 故 障 后 ， 系 统 持 续 运行 而 不 影响 业务 ; 并 且 可 以 在 线 更 换 故 障 电源 。 服 务 器 支持 对 
CPU 、 内 存 等 热 关键 器 件 的 温度 实时 监控 ， 配 合 智 能 的 风扇 调 速 和 监控 ， 确 保 系统 和 运行 
的 可 靠 性 。 系 统 可 以 对 风扇 、 电 源 、 人 硬盘 等 关键 避 件 的 运行 状态 监控 ,设备 故 障 时 会 产 
生 告 警 ， 可 以 灵活 对 支持 热 搬 拔 设备 进行 在 线 更 换 ， 不 支持 热 插 拔 设备 提前 安排 好 业务 
后 进行 下 电 更 换 。 























12.4 私有 云 效 益 





浙江 农 信 建设 了 以 “开放 、 高 效 、 安 全 、 融 合 ”为 特征 的 私有 云 ， 构 造 了 以 Open- 
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Stack 为 架构 、 性 能 卓越 、 便 于 扩容 、 端 到 端的 安全 防护 和 自动 化 容错 的 基础 设施 平台 。 
有 效 支 撑 了 浙江 农 信 的 互联 网 金融 业务 ， 包 括 电 商 、020、 综 合 电 子 账户 、 大 数据 等 。 
系统 实现 了 统一 模型 、 统 一 框架 、 数 据 集中 、 数 据 共 享 、 后 端 解 厢 、 前 端 融 合 的 建设 目 
标 。 浙 江 农 信 私 有 云 所 承载 的 综合 电子 账户 平台 将 成 为 浙江 农 信 互联 网 金融 交互 平台 的 
核心 ， 为 实现 以 “客户 为 中 心 ”服务 战略 打下 了 良好 基础 。 
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银行 业 信息 科技 风险 管理 
高 层 指 导 委 员 会 简介 


洒 


银行 业 信息 科技 风险 管理 高 层 指导 委 
会 (简称 高 层 指 导 委 员 会 ) 是 由 银监会 
起 ，20 家 主要 银行 业 金 融 机 构 自 愿 参与 建 3 
的 行业 性 、 专 业 性 高 层 组 织 。 高 层 指导 委 
会 的 宗旨 是 : 以 全 面 风险 管理 为 导向 ， 提 升 
银行 业 信 息 科 技 核心 竞争 力 和 自主 创新 能 
力 ， 提 升 银 行业 信息 化 建设 和 信息 科技 风险 
管理 整体 水 平 ， 推 动 银行 业 信息 科技 持续 、 
健康 发 展 ， 维 护 金融 稳定 和 国家 安全 。 高 层 
指导 委员 会 的 主要 任务 是 对 银行 业 信 息 化 建 
设 与 信息 科技 风险 管理 工作 进行 研究 、 指 导 
并 提供 咨询 、 建 议 ， 研 究 银行 业 信息 化 建设 
重大 发 展 问题 ， 深 入 传导 贯彻 信息 科技 监管 
政策 ， 开 展 专业 指导 和 风险 分 析 ， 开 展 信息 
科技 课题 研究 ， 推 动 银行 业 信息 科技 领域 新 
兴 技 术 研究 ， 促 进 银行 业 信息 科技 领域 的 交 
流 合 作 。 高 层 指导 委员 会 自 2011 年 成 立 以 
来 ， 建 立 了 风险 分 析 、 课 题 研究 、 专 业 指导 
等 常态 化 工作 机 制 ， 编 制 了 《金融 科技 治理 
与 研究 》 期 刊 ， 组 织 开展 了 近 300 项 课题 研 
究 ， 组 织 银行 业 金 融 机 构 协 同 开展 安全 可 
控 、 自 主创 新 能 力 建设 ， 为 银行 业 信息 科技 
领域 的 经 验 交流 、 知 识 分 享 和 资源 互补 提供 
了 有 效 的 平台 。 


涉 


河 


~ 
ON rr NOMW Noc 


OPPDN WDOO WN Ww— 


[1 


银行 业 信 息 科技 风险 管理 高 层 指导 委员 会 
息 系统 研发 风险 管控 


全 球 化 时 代 的 银行 信息 系统 建 i 
图 ”商业 银行 私有 云 设 计 与 实现 


息 系统 架构 
银行 信息 安全 技术 与 管理 体系 


商业 银行 业务 连续 性 管理 
金融 数据 挖掘 与 分 析 


已 


银行 业 信息 化 丛书 
银行 数据 中 心 基础 设施 建设 与 运 维 管理 


银行 数据 治理 
银行 业 信息 科技 监管 


商业 银行 
银行 


3 王 ONNMOON-M OW 
SPDOWWNTD OM NmOM NTPMOVMONNTO 
SNOWMD ND OD DN 
POD ORDOOMWNM Onnm 
ORO OOVMNRNmD Om 
ONDNNM OM PTOPEOD 
?en 一 co cp op 一 D 己 op 一 mopon 


2 一 一 cm Di 一 虽 Depoceenen 
=- 呈 上 opD 呈 po 呈 呈 二 四 一 和 一 上 cpeop mom 


OTNMDOMOPIN WMOV 


OVWDw 


DNDOMNIOmTPOVN NNN a 
INMDm ND 一 De 一 中 口上 
OD mm mMNOVP 

7 中 enDipeipipen ON 


> 安全 一 

Wc -0 WM OPNODM WOPOMN 

3 一 ONNmDONTOM ON 

2 CR ONmD ON NTOM NMROMONNTm 
ROM ND NMAMOVODNmm 


NONmD OROODNM moOmm 

2 一 上 Din 一 i OD 
JDmNm 一 上 ED Nm OMEOm 
Je 一 co con 一 OOMPNmD ONnDOM 


-TOnoOO oD m nm PO 和 
-上 一 加 二 co 一 em WMOM 
3 一 乙 c cn 一 


2 ~ 团 四 一 呈 庆 四 四 9 一 中 局 一 enc 一 Or 


eeom recnDinD Nn Om ONOOW 
MO Wm WONOVVPMr 
IO HNONM ON OMNDN 


2OWWNM OONMN rN PNWO 

-Om -mH NM ONDOM NONOM 

?2 一 ONMN-DOODNmm OW 
DO OM OMDOM NMRAOVOWNTO 
3DOMMM NO 一 中 国 呈 op 四 四 一 呈 

3 Cp cp 避 D 一 中 四 呈 四 王 加 D OP 
ORNmD OOVMPNmD Dopocon 


3 一 上 Doomon ~ 9 
?en 一 co cin 一 人 己 虽 四 四 一 opDepen 
? 一 一 6 一 中 局 加 四 中 避 


= 中 和 oD 四 虽 王 二 丰 一 挛 一 icpoo PO 
-=- 拉 一 加 过 人 吕方 一 中 中 呈 虽 
Ommr 
2 cip 一 吓 广 四 9 一 中 局 一 mencu 一 乙 一 
Nm Om mn Nm Om NN MOW 
NOOO wm mnN MD 一 ccN 呈 四 证 一 
IOONTIMADNONM ONTM ein 一 
3OWMVm OOWMV TN MDWO 

moO -mm MM ONOM WOMmOM 
3 一 全 
NON OM NmDM OmMDOVODNNT-m 
POMD WD Nr in 一 cm 
2 Cp op 四 一 Dipon ~ OPM 
3 一 加 四 一 Depoeom 


ION 一品 9 中 一 好 吕 定 呈 
3 em De so cpin 一 OMRON ONO 
yr -MDONTM OVWDO MD 


WOODPNTM OOVMNRNmT DONO 
OPRONTM ONO MM ODROVNTm 
OROWNPM NOONO MMM DOPDNTT 
Om OnNm -OVPDDw 

OPOONN OO MD 


SNOONMDOTD OVOPOO 一 cino 茹 一 


一 上 四 二 cr 广 四 一 ec MO 
yD 

2 op up 一 避 广 四 中 一 中 王 上 n 一 menmecN 一 书 一 
INO Om mn Nm om NN MOW 


NOO WmoON I mMNOLPMr 


元 


79.80 


人 


ISBN 978-7-111-52725-1 
905787111 527251 > 


ISBN 978-7-111-52725-1 





100037 

电话 服务 

网 络 服务 

机 工 官网 www.cmpbook.com 


010-88379203 


封面 无 防伪 标 均 为 盗版 


邮政 编码 


服务 咨询 热线 : 010-88361066 


北京 市 百 万 庄 大 街 22 号 


读者 购书 热线 : 010-68326294 
机 工 官 博 : weibo.com/cmp1952 
金 书 网 : www.golden-book.com 
教育 服务 网 : www.cmpedu.com 


地 址 


